本文是LLM系列文章,针对《Towards Modeling Learner Performance with Large Language Models》的翻译。
摘要
最近探索预训练的大型语言模型(LLM)能力的工作已经证明了它们通过完成代表一系列任务的复杂token序列来充当通用模式机的能力,包括时间序列预测和机器人控制。本文研究了LLM的模式识别和序列建模能力是否可以扩展到知识跟踪领域,知识跟踪是智能辅导系统(ITS)开发的关键组成部分,该系统通过预测学习者随时间的推移的表现来定制教育体验。在对多个现实世界数据集的实证评估中,我们比较了使用LLM执行此任务的两种方法,零样本提示和模型微调,以及现有的非LLM知识跟踪方法。虽然基于LLM的方法不能实现最先进的性能,但经过微调的LLM超过了原始基线模型的性能,并在多个指标上与标准贝叶斯知识跟踪方法不相上下。这些发现表明,LLM的模式识别能力可以用于对复杂的学习轨迹进行建模,为将LLM应用于教育环境开辟了一条新的途径。论文最后讨论了这些发现对未来研究的影响,表明进一步完善和深入了解LLM的预测机制可以提高知识追踪任务的性能。