Integrating Large Language Models and Evaluating Student Outcomes in an Introductory Computer Sci...

文章主要内容与创新点总结

一、主要内容

本文围绕大型语言模型（LLM）在计算机科学入门课程（CS1）中的整合应用展开研究，设计并评估了一门全新的CS1-LLM课程。核心内容包括：

1. 课程设计：基于五大原则（鼓励LLM使用、契合行业需求、缩小公平差距、支持创意个性化项目、培养实用计算技能），重构了课程目标，重点培养提示工程、代码分析、调试测试等适配LLM时代的技能，采用“大型单一项目（OLP）”模式替代传统“多个小型项目（MSP）”，并整合GitHub Copilot作为核心工具。
2. 研究问题：聚焦三大核心问题——LLM辅助学习的学生表现与传统课程基准的对比、学生对LLM工具的感知、不同 demographic 群体的表现与感知差异。
3. 研究结果：
   • 学生在编程基础技能（如代码追踪、代码解释）上的表现与传统CS1课程学生相当，在“plain English解释代码”题型上表现更优；
   • 多数学生认为LLM工具有助于完成编程任务和学习，但存在过度依赖的担忧；
   • 考试成绩仍存在种族（BLNPI群体）和先前编程经验相关的公平差距，但开放式项目中该差距消失；
4. 讨论与启示：为教育者、课程设计者提供了LLM整合教学的实践参考，提出需明确学生对“无LLM辅助编程”的能力预期，加强课程间衔接，重视开放式项目对缩小公平差距的作用。