クラウドソーシングを活用したGUI実験における参加者スクリーニング手法の検証

クラウドソーシングを活用したGUI実験では，多くの参加者を素早く募集でき，UI操作時のデータを大量に収集できる．一方で，指示を守らない参加者や雑な操作を行う参加者も存在するため，実験データの品質が低下する懸念がある．我々はこれまで，実験前の事前タスクによって参加者をスクリーニングする手法を検討してきた．しかしこれまでの研究では，スクリーニングが実験結果に与える影響の検証が不十分であり，手法の適切な評価がなされていなかった．そこで本稿では，不適切な参加者が混入した場合の実験結果への影響をシミュレーションすることにより，手法の有用性の検証を行った．その結果，不適切な参加者の割合を少なくするほどGUI操作のパフォーマンスモデルの推定精度が向上する傾向がみられ，事前タスクによるスクリーニング手法の有用性が示唆された．