Abstract
プログラミング教育は，アルゴリズム的思考や問題解決能力の育成において重要な役割を果たすが，学生と教員・TAの人数に偏りがある場合，課題の迅速なフィードバックと採点の負担が課題となっている．
従来の自動採点システムは，テストケースに基づく固定的な評価を行うものが一般的であり，動的要素や創造的な解答が含まれるクリエイティブコーディングに特化したプログラミング課題では，十分に対応できなかったり，テストケースの作成が面倒であったりするという問題があった．
本研究では，これらの課題を解決するために，大規模言語モデル（LLM）を活用した自動採点システム「PP-Checker」を提案する．
PP-CheckerはLLMを利用することで，正確性，即時性，曖昧性の3つの観点を重視した採点手法を導入した．
2024年度の春学期および秋学期前半における実験運用の結果，16回の講義でPP-Checkerを用いた13,035回の提出があり，PP-Checker導入後，学生の再提出までの平均時間が2023年度の約30.9分から約12.3分に短縮された．
これは，学生がLLMによるフィードバックを受けて自発的に修正を行う機会が増加したことにもつながっていると考えられる．
さらに，プロンプト変更機能を導入することで，採点精度は平均3.7\%向上し，特定の課題では初期精度33.3\%が72.9\%まで向上するなど，LLMを活用したプロンプト設計の有用性を確認した．
今後は，運用コストの最適化とさらなる採点精度向上のため，プロンプトのトークン数削減やキャッシュ機構の導入を進める．
また，視覚的な課題の採点精度向上を目的として実行画面の画像をプロンプトに取り込む方法や，学生が自らプロンプトを設計し採点精度を競うプロンプトコンペティションの導入も検討する．
さらに，他分野へのPP-Checkerの適用を進めることで，LLMによる学習支援システムとしての幅広い利用可能性を探求する．
数年規模での効果検証を通じて，学生の学習促進やTAの業務効率化への貢献を定量的に示し，新たな学習支援システムとして成長させることを目指す．