Partnering with AI: A Pedagogical Feedback System for LLM Integration into Programming Education

文章主要内容总结

本文聚焦于将大型语言模型（LLMs）整合到编程教育中，旨在构建一个符合教学原则的LLM驱动反馈系统。研究首先通过与中学计算机教师的初步访谈，提炼出反馈策略的三个关键适应标准（学生表现、任务进度、学生输入），并结合已有的反馈模型，提出了一个新的教学反馈框架。该框架以任务描述、学生掌握水平、学生尝试成果和（可选）学生文本输入为输入，通过多代理LLM系统生成适应性反馈。

为验证框架有效性，研究团队开发了一个基于Python的网页应用，并对8名中学计算机教师进行了混合方法评估（定量评分与定性访谈结合）。结果显示，教师认为符合该框架的LLM反馈在教学合理性、全面性和有效性上表现良好，尤其在即时性、精准性和支持高表现学生方面优于人类教师；但也存在局限性，如无法适应动态课堂环境、缺乏实时互动和可视化教学手段，需结合人类教师的专业知识。

文章创新点

1. 提出教学导向的LLM反馈框架：不同于现有LLM反馈系统使用单一固定提示词，该框架整合教学原则（如适应性、掌握度匹配）和教师实践洞察，通过多代理LLM系统实现反馈的个性化调整（基于学生表现、任务进度等）。
2. 验证LLM与人类教师的互补性：首次通过教师评估系统探讨LLM反馈在教学合理性上与人类教师的对比，发现LLM在即时错误检测、支持高表现学生等方面有独特优势，但需人类教师补充动态课堂适应、实时互动等能力。
3. 混合方法评估设计：结合定量评分（教学合理性、有效性等）和定性访谈，系统分析了LLM反馈的优势与局限，为未来编程教育中LLM的应用提供了实践