Predicting Learning Performance with Large Language Models: A Study in Adult Literacy-优快云博客

本文是LLM系列文章，针对《Predicting Learning Performance with Large Language Models: A Study in Adult Literacy》的翻译。

用大型语言模型预测学习成绩——成人识字率研究

摘要
1 引言
2 相关工作
3 方法
4 结果
5 讨论
6 局限性
7 未来方向
8 结论

摘要

智能辅导系统显著加强了成人识字培训，这是社会参与、就业机会和终身学习的关键因素。我们的研究调查了高级人工智能模型的应用，包括GPT-4等大型语言模型，用于预测ITS成人识字项目的学习成绩。这项研究的动机是LLM基于其固有的推理和计算能力预测学习性能的潜力。通过使用ITS、AutoTutor的阅读理解数据集，我们通过五倍交叉验证技术评估了GPT-4与传统机器学习方法在预测学习性能方面的预测能力。我们的研究结果表明，GPT-4与传统的机器学习方法（如贝叶斯知识跟踪、性能因子分析、稀疏因子分析精简版（SPARFALite）、张量因子分解和极限梯度提升（XGBoost））相比，具有竞争性的预测能力。虽然XGBoost（在本地机器上训练）在预测准确性方面优于GPT-4，但GPT-4选择的XGBoost及其在GPT-4平台上的后续调整显示出与本地机器执行相比的卓越性能。此外，我们使用XGBoost作为案例研究，对GPT-4与网格搜索的超参数调整进行的研究表明，尽管自动化方法的稳定性较差，但性能相当。我们的研究通过强调将LLM与传统机器学习模型相结合的潜力来提高预测准确性和个性化成人识字教育，为未来在ITS中应用LLM的研究奠定了基础，从而为该领域做出了贡献。