Webページ上の要素がもつクリック可能性に対する人間による認知とVLMによる認識の一致度調査

企業や各種団体がWebサイトやアプリケーションなどを用いてサービス提供を行うことが一般的になってきたが，分かりづらいインタフェースも存在しており日々，人を困らせている．これまでの研究において，VLMが人のように使いにくいインタフェースを誤認することに着目し，Webサイトにおいてクリックが可能な要素の中で，ユーザがクリックできないと認知する可能性があるものをVLMを用いて推定し，Webページのユーザへと強調表示により提示する手法を提案した．しかし，VLMの認識特性が人間の認知プロセスや振る舞いとどの程度合致しているか，あるいはどのように異なるかについては，これまで十分な検証がなされていなかった．そこで本研究では，Webページ上のクリック要素に対する人間とVLMの認識結果を比較・分析することで，提案手法におけるVLM利用の有効性およびその限界について議論する．分析の結果，VLMが検出した要素の多くは人間にとっても妥当であった一方，視覚的な手がかりが乏しい要素を見落とす傾向や，テキストの意味的文脈から過剰に要素を検出するといった，人間とは異なる認識特性を持つことが明らかになった．