Evaluating and Optimizing Educational Content with Large Language Model Judgments

本文是LLM系列文章，针对《Evaluating and Optimizing Educational Content with Large Language Model Judgments》的翻译。

摘要

创建有效的教育材料通常需要对学生的学习结果进行昂贵而耗时的研究。为了克服这一障碍，一个想法是建立学生学习的计算模型，并使用它们来优化教学材料。然而，很难对学习动态的认知过程进行建模。我们提出了一种替代方法，使用语言模型作为教育专家来评估各种指令对学习结果的影响。具体而言，我们使用GPT-3.5来评估教学材料对不同学生群体的总体影响，并发现它可以复制公认的教育发现，如专业知识逆转效应和变异性效应。这表明了LMs作为教育内容可靠评估者的潜力。基于这一见解，我们引入了一种指令优化方法，其中一个LM使用另一个LM的判断作为奖励函数来生成指令材料。我们将这种方法应用于创建数学单词问题工作表，旨在最大限度地提高学生的学习收益。人类教师对LM生成的工作表的评估显示，LM判断与人类教师偏好之间存在显著一致性。最后，我们讨论了人类和LM观点之间的潜在分歧，以及自动化指令设计的陷阱。

1 引言

2 相关工作

3 指令评估

4 指令优化

5 局限性

6 结论

我们表明，LMs可以对一些众所周知的教学有效性研究结果进行评估，包括需要理解不同学生可能会受到不同内容的不同影响的结果。即使LM由于阅读了相关研究而成功地做出了这些判断，但这仍然是值得注意的，原因有两个：1）评估中没有任何内容直接提示这些研究，2）我们在与先前研究不同的领域开发了新的教学材料。这表明LM可以可靠地阅读教育