Webアンケートにおける不真面目回答のChatGPTを用いた自動分類

Web アンケートは手軽にデータ収集ができ便利であるものの，設問に対して真面目に回答しない回答が多く集まる．特に自由記述においては「わからない」や「特になし」など不真面目回答をする人が集まる問題がある．このような問題に対して，設問の順序や回答欄のデザインなどに工夫がなされている．その工夫の評価指標として不真面目回答率が用いられているが，評価者が全ての自由記述回答を手作業で判断するため，膨大なデータを扱う Web アンケートでは非常に手間であり時間がかかる．ここでアンケートの質問とそれに対する回答は一種の対話と捉えることができる．そこで文の意図や内容を理解できる対話型 AI，ChatGPT を用いて回答の自動分類をできるのではないかと考えた．本研究では，ChatGPT を用いた不真面目回答分類の基礎検討として，これまで行ってきたアンケートデータを用いて分類精度や効率的なプロンプトについて検討を行った．実験の結果，回答に対して点数を付与する手法が最も精度高い結果となった．一方，F 値は十分ではなく，判定における課題が残った．