Logic-RL：小参数qwen模型复现DeepSeek R1 zero

最近很多参照DeepSeek模型训练推理模型的工作，本文将深入 “Logic-RL: Unleashing LLM Reasoning with Rule-Based Reinforcement Learning” 的论文，该论文提出了一种Rule-Based Reinforcement Learning, Logic-RL框架，旨在提升 LLM 的逻辑推理能力，在qwen2.5-7b-instruct-1m的基础上后训练，测试集上效果超越openai o1.

引言：推理能力的瓶颈与 Logic-RL 的价值

尽管 LLM 在自然语言处理任务中表现出色，但在需要复杂推理的任务中，它们常常显得力不从心。传统的提升 LLM 推理能力的方法，例如使用 Monte Carlo Tree Search (MCTS) 或 Process Reward Models (PRM)，往往需要大量的计算资源和人工干预。

Logic-RL 的核心思想是：

1. 利用规则驱