人大：LLM数学指令融合增强

📖标题：MathFusion: Enhancing Mathematic Problem-solving of LLM through Instruction Fusion
🌐来源：arXiv, 2503.16212

🌟摘要

🔸大型语言模型（LLMs）在数学推理方面取得了令人瞩目的进展。虽然数据增强有望提高数学问题解决能力，但目前的方法主要局限于实例级的修改，如重新措辞或生成句法变化，这些修改无法捕捉和利用数学知识中固有的内在关系结构。
🔸受人类学习过程的启发，数学能力是通过系统地接触相互关联的概念来发展的，我们介绍了MathFusion，这是一种通过跨问题教学综合来增强数学推理的新框架。MathFusion通过三种融合策略实现了这一点：（1）顺序融合，将相关问题链接到模型解决方案依赖关系；（2） 并行融合，结合类似问题以加强概念理解；以及（3）条件融合，它创建了上下文感知的选择问题，以提高推理的灵活性。通过应用这些策略，我们生成了一个新的数据集MathFusionQA，然后对其进行了微调模型（DeepSeekMath-7B、Mistral-7B、Llama3-8B）。
🔸实验结果表明，MathFusion在保持高数据效率的同时，在数学推理方面取得了实质性的改进，在各种基准测试中提高了18.0分的准确性，同时只需要45K额外的合成指令，这比传统的单指令方法有了实质性改进。我们的数据集、模型和代码可在https://github/QizhiPei/mathfusion上公开获取。

🛎️文章简介

🔸研究问题：大语言模型（LLM）在解决复杂数学问题时，如何有效捕捉和利用数学知识的内在关系结构？
🔸主要贡献：论文提出了一种新的数据增强方法MathFusion，通过问题融合策略提高了LLM的数学推理能力，显著提升了模型在多步数学问题上的解决能力。

📝重点思路

🔸论文首先介绍了数学问题对的构建方法，选取具有相似类型和上下文的问题进行融合。
🔸采用三种融合策略：顺序融合（Sequential Fusion）、并行融合（Parallel Fusion）和条件融合（Conditional Fusion），将两个数学问题合成一个新的问题，以增强数学问题的关联性和逻辑一致性。
🔸基于融合生成的问题集，构建了MathFusionQA数据集，并利用该数据集对大型语言模型（如DeepSeekMath-7B、Mistral-7B和Llama3-8B）进行微调。

🔎分析总结

🔸融合后的数据集在多样性和难度上都优于原始数据集，有助于减少模型过拟合的风险。
🔸MathFusion方法使LLM能够有效捕捉数学任务的内在关系结构，从而增强其解决复杂多步问题的能力。
🔸在多个基准测试中，MathFusion在数学推理准确性上取得显著提升，平均提高了18.0个百分点，且所需的额外合成指令数量远低于传统方法。
🔸与当前最先进的数据增强方法DART-Math结合使用时，MathFusion进一步提升了模型的表现，显示出两者的互补性。
🔸三种融合策略的组合使用能够进一步提高模型的数学能力，尤其是在基础模型性能较弱时，提升效果更为明显。

💡个人观点

论文的核心是提出了数学问题的融合，不仅提升了数据的多样性和挑战性，而且增加了数学问题的关联性和逻辑一致性。

🧩附录