クラウドソーシングを活用したGUI実験における参加者スクリーニング手法のスマートフォンでの検証

クラウドソーシングを活用したGUI実験では，多くの参加者を素早く募集でき，UI操作時のデータを大量に収集できる．一方で，指示を守らない参加者や雑な操作を行う参加者も存在するため，実験データの品質が低下する懸念がある．我々はこれまで，実験前の事前タスクを利用した参加者のスクリーニング手法について検証を行い，不適切な参加者の割合を低くするほどGUI操作のパフォーマンスモデルの適合度が向上することを明らかにしてきた．しかしこれまでの研究はPC環境での検証にとどまり，画面表示の統制が不十分で実験の条件数も限られていたため，厳密な検証ができていなかった．そこで本稿では，スマートフォン環境で視覚刺激の表示をmm単位で統制し，条件数を増やした実験を通じてスクリーニング手法の有用性を厳密に検証した．その結果，不適切な参加者の割合を低くするほどモデル適合度が向上する傾向が再確認され，事前タスクを利用したスクリーニング手法の有用性がより明確に示唆された．