The GPT Surprise: Offering Large Language Model Chat in a Massive Coding Class Reduced Engagement

本文是LLM系列文章，针对《The GPT Surprise

摘要

大型语言模型 （LLM） 正迅速被广泛应用于各种学习体验中，尤其是通过 ChatGPT 和 Copilot 等无处不在且可广泛访问的聊天界面。这种类型的界面对世界各地的学生和教师来说都很容易获得，但评估此类通用工具对学生学习影响的研究相对较少。编码教育是一个有趣的测试案例，这既是因为 LLM 在编码任务上具有强大的性能，还因为 LLM 支持的支持工具正迅速成为专业软件工程师工作流程的一部分。为了帮助了解通用 LLM 使用对编码教育的影响，我们在在线编码课程中对来自 5,831 个国家/地区的 146 名学生进行了一项大规模的随机对照试验，在该试验中，我们为一些学生提供了使用 GPT-4 的聊天界面的访问权限。我们估计采用者（使用该工具的学生）对考试成绩有积极的好处，但在所有学生中，GPT-4 的广告导致考试参与率显着平均下降。我们观察到其他形式的课程参与度也有类似的下降。但是，这种减少受到学生原籍国的调节。为来自人类发展指数低国家的学生提供 LLM 的机会平均提高了他们的考试参与率。我们的结果表明，在入门编码课程中使用 LLM 可能有有希望的好处，但也会对参与度产生潜在危害