Abstract
漫画はイラストと文字によってストーリーを表現したマルチメディアコンテンツであり，日本のみならず世界中で鑑賞される人気のコンテンツである．また，近年ではスマートフォンやタブレットの普及に伴い，漫画をディジタル化した電子コミックとして鑑賞される機会も多くなっている．こうした漫画のディジタル化により，漫画を機械に認識させることで様々な利用方法を提案するサービスが登場しつつある．例えば，漫画の文章を外国語に自動翻訳して閲覧可能にするサービスや，ユーザの好みに合わせた漫画の推薦などが存在する．しかし，こうしたサービスを実現するためには，漫画の画像からキャラクタやテキストといった要素を抽出し，それらの情報をもとに漫画コンテンツの内容について機械が認識する必要がある．このような，漫画画像からキャラクタやセリフのテキストといった要素を自動で抽出し，漫画を機械で処理可能な形式へと変換するといった漫画の自動解析の研究も盛んに行われている．
このような機械による漫画の自動解析の1つとして，漫画内に登場するセリフの発話者を自動で推定する手法が必要とされている．漫画のセリフにもとづいたコマの検索や漫画のシーンの理解のためには，こうしたセリフの自動的な解析が必要であり，OCR（工学文字認識）などの技術によってある程度そのセリフの内容は認識できる．しかし，そのセリフがどのキャラクタの発言であるかについての情報は読み手が判断する必要があり，機械により自動で推定する手法はまだ確立されてはいない．
また，自動推定手法の妥当性を評価するためには，漫画についての大量のデータが必要となる．漫画のデータセットはいくつか存在するものの，セリフの発話者についての情報を持ったデータセットは存在しないという問題がある．
そこで本論文では，セリフの発話者であるキャラクタを自動推定する手法の実現に向け，まずは漫画におけるセリフと発話者の正解データを収集したデータセットを構築する．その際，セリフに対応したキャラクタのアノテーション付与を効率的に行うためのアノテーション付与システムを実装した．これにより，109冊の漫画に登場する147,918件のセリフに対して発話者であるキャラクタの対応付けを行なった．また，収集したデータの信頼性を高めるため，1つのセリフに対して2名の協力者がアノテーション付与を行なった．
次に，収集したデータをもとに人手によるセリフと発話者の対応付けについて分析を行う．1つのセリフに対して2名のデータ収集協力者が存在するため，この2名の意見が一致しているかを見ることによって収集したデータの正確さを評価するとともに，人が発話者を判断する際の難易度についても議論する．収集したデータを分析した結果，86%のセリフは意見が一致したが，その他のセリフについては意見が一致しないため，人にとっても発話者の判断が困難なセリフが存在することが明らかになった．これらを踏まえ，実際の漫画の事例をもとにセリフと発話者の推定における課題を「吹き出しの形状」「セリフとキャラクタの位置関係」「セリフの表現とキャラクタの特性」の3つの要因に整理した．
最後に，機械によってセリフの発話者を自動で推定する手法を考案し，データセットをもとに手法の精度を評価した．発話者を推定する手法として，「同じコマ内にいるキャラクタの情報」「セリフとキャラクタの距離の情報」「吹き出しのしっぽの方向の情報」「一人称と語尾の情報」の4つの情報を組み合わせる方法を提案した．推定の結果，全体のセリフに対して70%の精度で発話者を推定することができるという結果が得られた．また，発話者の対象を主要なキャラクタに絞って推定を行なったところ，最大で78%の精度で発話者を推定可能となった．これにより，発話者の手がかりとなる情報を組み合わせることで精度が向上することが明らかとなった．また，キャラクタの特徴とセリフの特徴の一致を見るなど，セリフの内容から得られる手がかりを用いることで推定の精度を向上させられることが示唆された．