open-rs：强化学习助力小规模语言模型推理能力

open-rs：强化学习助力小规模语言模型推理能力

open-rs Official repo for paper: "Reinforcement Learning for Reasoning in Small LLMs: What Works and What Doesn't" 项目地址: https://gitcode.com/gh_mirrors/ope/open-rs

项目介绍

open-rs 是一个开源项目，旨在通过强化学习（Reinforcement Learning, RL）技术提升小规模大型语言模型（Large Language Models, LLMs）的推理能力。该项目是伴随论文《Reinforcement Learning for Reasoning in Small LLMs: What Works and What Doesn’t》的研究成果，关注在资源受限的条件下如何高效地进行推理。

项目技术分析

open-rs 项目使用了一个 15 亿参数的模型 DeepSeek-R1-Distill-Qwen-1.5B，在 4 块 NVIDIA A40 GPU（每块显卡具有 48 GB 显存）上，仅用 24 小时完成训练。项目团队对 Group Relative Policy Optimization（GRPO）算法进行了适应性调整，并利用一个精选的、紧凑的数学推理数据集进行实验，以评估性能和行为。

项目的关键技术亮点包括：

1. 显著的推理能力提升：例如，AMC23 准确度从 63% 提升至 80%，AIME24 达到 46.7%，超过了 o1-preview 模型。
2. 高效的训练：仅使用 7,000 个样本，成本约为 $42，而基线模型需要数千美元。
3. 面临的挑战：优化不稳定性和训练长度限制。

这些结果显示，基于强化学习的微调是一种成本效益高的方法，适用于资源有限的小规模 LLMs，使其具备推理能力。

项目技术应用场景

open-rs 项目的应用场景广泛，尤其适合于以下情况：

• 资源受限的环境，例如在边缘设备或低功耗设备上进行推理。
• 需要快速部署和高效推理的场景，如在线问答、数学问题解决等。
• 对成本敏感的场合，如教育、小型企业或初创公司。

项目特点

open-rs 项目具有以下显著特点：

• 高效推理：通过强化学习微调，显著提升了小规模 LLMs 的推理能力。
• 成本效益：相较于传统大规模模型，open-rs 在成本和资源使用上更具优势。
• 灵活性：项目提供了多种模型和数据集，可根据不同需求进行选择和优化。
• 开源共享：代码、模型和数据集完全开源，支持社区进一步研究和改进。

以下是详细的推荐内容：

项目核心功能

open-rs 的核心功能是利用强化学习技术，在小规模语言模型上进行推理能力的提升，为资源受限的环境提供有效的推理解决方案。

项目介绍

open-rs 是一个针对小规模 LLMs 的推理能力提升的开源项目，通过强化学习技术实现了在资源受限条件下推理能力的显著提升。

项目技术分析

项目使用了 GRPO 算法，并在 A40 GPU 群上进行了高效的模型训练。通过精选的数学推理数据集，项目展示了强化学习在提升推理能力方面的潜力。

项目技术应用场景

open-rs 适用于多种场景，包括在线问答、数学问题解决、教育资源等，尤其适合在资源受限的环境中部署使用。

项目特点

open-rs 项目的特点在于其高效推理能力、成本效益、灵活性以及完全开源的共享模式，为小规模 LLMs 提供了可行的推理解决方案。

通过这些特点，open-rs 项目无疑为相关领域的研究者和开发者提供了一个极具价值的工具，有助于推动小规模 LLMs 在推理任务上的应用和发展。

open-rs Official repo for paper: "Reinforcement Learning for Reasoning in Small LLMs: What Works and What Doesn't" 项目地址: https://gitcode.com/gh_mirrors/ope/open-rs