Data Diversification Methods In Alignment Enhance Math Performance In LLMs

文章主要内容总结

本文研究了偏好优化中的数据多样化策略对提升大语言模型（LLMs）数学推理能力的作用。作者评估了三种常见的数据生成方法（温度采样、思维链提示、蒙特卡洛树搜索（MCTS）），并提出了一种新的结构化方法——Diversified-ThinkSolve（DTS），该方法通过系统地将问题分解为多样化的推理路径生成数据。

实验结果显示，通过策略性多样化的偏好数据，模型的数学推理性能显著提升：最佳方法在GSM8K基准上比基础模型提升7.1%，在MATH基准上提升4.2%。其中，DTS表现最优，且计算开销仅为基准的1.03倍，而MCTS开销是基准的近5倍但效果较差。研究表明，结构化探索多样化解题方法比传统方法能生成更有效的数学对齐偏好数据。

创新点

1. 提出Diversified-ThinkSolve（DTS）方法：一种结构化数据生成策略，通过两个阶段（生成多种解题思路→基于每种思路生成完整解决方案）系统探索多样化推理路径，平衡了性能与计算效率。
2. 验证数据多样化的重要性：实验证明，策略性多样化的偏好数据比传统方法（如温度采样、MCTS）更能提升模型数学推理能力，且数据质量和多样性比优化算法本身更关键。
3. 效率优势：DTS在显著提升性能的同时，计算开销仅略高于基准（1.03×），远低于MCTS（4.85×），具有更高的实用价值。

翻译部分

Abstract（摘要