ChatGLM-Math: Improving Math Problem-Solving in Large Language Models with a Self-Critique Pipeline

本文是LLM系列文章，针对《ChatGLM-Math: Improving Math Problem-Solving in Large Language Models with a Self-Critique Pipeline》的翻译。

摘要

大型语言模型 （LLM） 已经显示出对人类语言的出色掌握，但在需要解决数学问题的实际应用中仍然举步维艰。虽然已经开发了许多策略和数据集来增强 LLM 的数学能力，但在已部署的 LLM 系统中同时保持和改进语言和数学能力仍然是一个挑战。在这项工作中，我们定制了自我批评流程，解决了 LLM 对齐反馈学习阶段的挑战。我们首先从 LLM 本身训练一个通用的 Math-Critique 模型来提供反馈信号。然后，我们依次对 LLM 自己的生成采用拒绝微调和直接偏好优化进行数据收集。基于 ChatGLM3-32B，我们在学术数据集和我们新创建的具有挑战性的数据集 MATHUSEREVAL 上进行了一系列实验。结果表明，我们的流程显著提高了 LLM 的数学问题解决能力，同时仍然提高了其语言能力，优于可能大两倍的 LLM。相关技术已部署到在线服务 LLM ChatGLM1 中。相关评估数据集和脚本将在 https://github.com/THUDM/ChatGLM-Math 发布。

1