Towards Modeling Learner Performance with Large Language Models

本文是LLM系列文章，针对《Towards Modeling Learner Performance with Large Language Models》的翻译。

摘要

最近探索预训练的大型语言模型（LLM）能力的工作已经证明了它们通过完成代表一系列任务的复杂token序列来充当通用模式机的能力，包括时间序列预测和机器人控制。本文研究了LLM的模式识别和序列建模能力是否可以扩展到知识跟踪领域，知识跟踪是智能辅导系统（ITS）开发的关键组成部分，该系统通过预测学习者随时间的推移的表现来定制教育体验。在对多个现实世界数据集的实证评估中，我们比较了使用LLM执行此任务的两种方法，零样本提示和模型微调，以及现有的非LLM知识跟踪方法。虽然基于LLM的方法不能实现最先进的性能，但经过微调的LLM超过了原始基线模型的性能，并在多个指标上与标准贝叶斯知识跟踪方法不相上下。这些发现表明，LLM的模式识别能力可以用于对复杂的学习轨迹进行建模，为将LLM应用于教育环境开辟了一条新的途径。论文最后讨论了这些发现对未来研究的影响，表明进一步完善和深入了解LLM的预测机制可以提高知识追踪任务的性能。

1 引言

2 相关工作

3 评估模型

4 方法

5 结果

6 讨论

7 结论

在这篇论文中，我们证明了大