予稿集

PP-Checker 1.5: LLMとの協働により標準出力を含むプログラムを評価する半自動採点システム

Abstract

本稿では,標準出力を含むプログラミング課題における採点精度向上を目的とし,従来の半自動採点システムPP-Checker を拡張する手法を検討した.この手法では,プログラムの構文の評価に加えて,ランダム性や動的要素を含む標準出力結果を大規模言語モデル(LLM)へのプロンプトとして組み込むことで,多様な課題への対応力を強化した.提案手法をプログラミング演習講義における13 個の課題で検証した結果,従来手法に比べて採点精度が向上する傾向にあることが確認された.さらに,この結果をもとに,提案手法を統合したPP-Checker 1.5 を講義内で運用し,ユーザの負荷にならず,精度向上につながることを確認した.

Artifacts

Information

Book title

インタラクション2025

Pages

676-681

Date of issue

2025/02/26

Date of presentation

2025/03/03

Citation

関口 祐豊, 中村 聡史. PP-Checker 1.5: LLMとの協働により標準出力を含むプログラムを評価する半自動採点システム, インタラクション2025, No.2A-14, pp.676-681, 2025.