LLM-as-a-Grader: Practical Insights from Large Language Model for Short-Answer and Report Evaluation

一、文章主要内容总结

该研究聚焦大语言模型（LLM）在真实课堂教学评估中的应用可行性，以GPT-4o为核心，针对本科计算语言学课程的简答题测验和项目报告开展自动评分研究，核心内容如下：

1. 研究数据：收集约50名学生的5次简答题测验（共258份作答，每题侧重概念理解而非字面匹配，采用0.1分梯度计分），以及14个团队的项目报告（5-8页标准化结构，含摘要、方法、结果等8个评分模块）。
2. 研究方法：开发开源评分工具包LLM-as-a-Grader，通过Python脚本调用GPT-4o API，结合固定评分规则（如测验参考标准答案、报告遵循详细评分准则）进行自动评分；设置固定模型参数（温度0.0、top-p 1.0）保证结果可复现，并由2名博士生担任人工评分员进行对比验证。
3. 核心结果：
   • 简答题测验：GPT-4o与人工评分相关性高达0.98，55%的案例得分完全一致，仅存在轻微系统差异（GPT更保守，38.8%的案例评分低于人工，6.2%高于人工）。
   • 项目报告：多数模块（如摘要、引言、相关工作）评分与人工高度一致，仅在技术方法（Approach）和结果（Results）模块评分显著偏低；GPT更侧重实证严谨性，人工更关注格式、表达清晰度等整体标准。
4. 工具特性：工具包支持灵活配置（模型选择、评分粒度等），可直接解析PDF文件，大规模评分成本极低（50名学生14题测验成本不足1美元），且开源开放代码与样本数据。