详解各种LLM系列｜（6）PART-2: Qwen2-Math发布（在数学方面竟然超过GPT-4o和Claude-3.5？）

一、引言

2024年8月9日消息，Qwen官方网站消息，8月8日，阿里发布了Qwen2-Math（1.5B/7B/72B）系列。Qwen2-Math是一系列基于Qwen-2 LLM构建的专门用于数学解题的语言模型，数学推理能力全球第一。

Github：https://github.com/QwenLM/Qwen2-Math

官方Blog：Qwen2-Math，新一代数学模型 | Qwen

Qwen团队的研究结果表示，Qwen2-Math其数学能力显著超越了开源模型甚至闭源模型（例如GPT-4o）。

注：在MATH基准测评中，通义千问数学模型的旗舰款Qwen2-Math-72B-Instruct取得了84%的准确率，超过GPT-4o、Claude-3.5-Sonnet、Gemini-1.5-Pro 和 Llama-3.1-405B等开闭源模型。

自ChatGPT发布以来，各种开源闭源的LLM在通用能力方面有了很大的提升。然而，在某些垂直领域（特别是数学），LLM的能力一直饱受诟病。

此次阿里发布的Qwen2-math无疑给垂直领域微调大模型树立了一个范式。

---

此篇内容主要分析Qwen2-math的一系列模型实现的效果以及微调技术。

如果对于Qwen Base模型的技术内容有兴趣，请参考上篇的Qwen技术详解：

文章浏览阅读809次，点赞30次，收藏24次。本文基于Qwen的技术报告，详解了Qwen从预训练到RLHF对齐的技术内容࿰