Qwen2.5 Technical Report

基本信息

• 📝 原文链接: https://arxiv.org/abs/2412.15115
• 👥 作者: Qwen, An Yang, Baosong Yang, Beichen Zhang, Binyuan Hui, Bo Zheng, Bowen Yu, Chengyuan Li, Dayiheng Liu, Fei Huang, Haoran Wei, Huan Lin, Jian Yang, Jianhong Tu, Jianwei Zhang, Jianxin Yang, Jiaxi Yang, Jingren Zhou, Junyang Lin, Kai Dang, Keming Lu, Keqin Bao, Kexin Yang, Le Yu, Mei Li, Mingfeng Xue, Pei Zhang, Qin Zhu, Rui Men, Runji Lin, Tianhao Li, Tingyu Xia, Xingzhang Ren, Xuancheng Ren, Yang Fan, Yang Su, Yichang Zhang, Yu Wan, Yuqiong Liu, Zeyu Cui, Zhenru Zhang, Zihan Qiu
• 🏷️ 关键词: supervised fine-tuning, pre-training, reinforcement learning, Qwen2.5
• 📚 分类: 机器学习, 自然语言处理

摘要

中文摘要

在本报告中，我们介绍了Qwen2.5，这是一系列旨在满足多样化需求的大型语言模型（LLMs）。与之前版本相比，Qwen 2.5在预训练和后训练阶段都得到了显著改进。在预训练方面，我们将高质量预训练数据集的规模从之前的7000亿个标记扩展到了1800亿个标记。这为常识、专家知识和推理能力提供了坚实的基础。在后训练方面，我们实施了超过100万个样本的复杂监督微调和多阶段强化学习。后训练技术增强了人类偏好，显著提高了长文本生成、结构数据分析和分析指令的能力。为了有效地处理多样化的用例，我们以丰富的规模推出了Qwen2.5 LLM系列。开放型产品包括基础模型和指令微调模型，并提供量化版本。此外，对于托管解决方案，目前拥有的专有模型包括两种专家混合（MoE）变体：Qwen2.5-Turbo和Qwen2.5-Plus，两者均可在阿里巴巴云模型工作室获取。Qwen2.5在各种基准测试中展现了顶尖的性能，这些基准测试评估了语言理解、推理、数学、编码、人类偏好对齐等。具体来说，开放型旗舰产品Qwen2.5-72B-Instruct在多个开源和专有模型中表现出色，并且与最先进的开放型模型Llama-3-405B-Instruct相比具有竞争力，后者大约是其五倍之大。Qwen2.5-Turbo和Qwen2.5-Plus在性能上与GPT-4o-mini和GPT-4o相当，同时提供了更高的性价比。此外，作为基础，Qwen2.5模型在训练Qwen2.5-Math、Qwen2.5-Coder、QwQ和多模态模型等专用模型方面发挥了重要作用。

原文摘要

In this report, we introduce Qwen2.5, a comprehensive series of large language models (LLMs) designed to meet diverse needs. Compared to previous iterations, Qwen 2.5 has been significantly improved during both the pre-training and post-training stages. In terms of pre-training, we have scaled the high-quality pre-training datasets from the previous 7 trillion tokens to 18 trillion tokens. This provides a strong foundation for common sense, expert knowledge, and reasoning capabilities. In terms of post-training, we implement intricate supervised finetuning with over 1 million samples, as well as multistage reinforcement learning. Post-training techniques enhance human preference, and notably improve long text generation, structural data analysis, and instruction following. To handle diverse and varied use cases effectively, we present Qwen2.5 LLM series in rich sizes. Open-weight offerings include base and instruction-tuned models, with quantized versions available. In addition, for hosted solutions, the proprietary models currently include two mixture-of-experts (MoE) variants: Qwen2.5-Turbo and Qwen2.5-Plus, both available from Alibaba Cloud Model Studio. Qwen2.5 has demonstrated top-tier performance on a wide range of benchmarks evaluating language understanding, reasoning, mathematics, coding, human preference alignment, etc. Specifically, the open-weight flagship Qwen2.5-72B-Instruct outperforms a number of open and proprietary models and demonstrates competitive performance to the state-of-the-art open-weight model, Llama-3-405B-Instruct, which is around 5 times larger. Qwen2.5-Turbo and Qwen2.5-Plus offer superior cost-effectiveness while performing competitively against GPT-4o-mini and GPT-4o respectively. Additionally, as the foundation, Qwen2.5 models have been instrumental in training specialized models such as Qwen2.5-Math, Qwen2.5-Coder, QwQ, and multimodal models.

论文解读

一句话总结

Qwen2.5通过扩展预训练数据集规模和采用先进的后训练技术，显著提升了大型语言模型在多个领域的性能。

问题1：这篇论文想要解决什么具体问题？

• 问题背景：大型语言模型（LLM）在语言理解、生成和推理方面的能力不断发展，但现有模型在处理长文本、结构化数据分析和指令遵循等方面仍存在局限性。
• 现有方案不足：现有LLM模型在上述任务上的表现有限，且缺乏高效的数据处理和训练方法。
• 研究目标：开发一个性能更优的LLM模型，能够有效处理长文本、结构化数据分析和指令遵循等任务。

问题2：论文的核心创新点是什么？

• 技术创新：通过扩展预训练数据集规模至18万亿tokens，并采用先进的后训练技术，包括监督微调和多阶段强化学习。
• 方法改进：引入了长文本生成、数学、编码、指令遵循和结构化数据理解等领域的专门数据集，以及基于执行反馈和答案匹配的SFT和DPO技术。
• 优势：与现有方法相比，Qwen2.5在多个基准测试中表现出色，尤其是在处理长文本、数学和编码任务方面。

问题3：实验结果如何验证了方法的有效性？

• 关键实验：在多个公开基准和内部数据集上对Qwen2.5模型进行了评估，包括MMLU、GPQA、MBPP和HumanEval等。
• 性能提升：Qwen2.5在多个基准测试中取得了优异的成绩，特别是在处理长文本、数学和编码任务方面。
• 对比结果：Qwen2.5-72B-Instruct在多个基准测试中的表现优于Llama-3-405B-Instruct，而Qwen2.5-Turbo和Qwen2.5-Plus在成本效益方面表现出色。

问题4：这个研究的实际应用价值是什么？

• 应用场景：Qwen2.5适用于各种场景，包括自然语言处理、数学、编码、指令遵循和结构化数据分析等。
• 实施建议：Qwen2.5模型可以在多个平台和设备上部署，包括Hugging Face Hub、ModelScope和Kaggle等。
• 局限与展望：Qwen2.5在处理长文本和跨语言任务方面仍有改进空间。未来研究将致力于提高模型的跨语言能力和处理长文本的能力。