1.5B小模型+32B外援=28%准确提升+8倍提速？SplitReason实现推理过程“无缝接力”

最新推荐文章于 2025-12-01 19:45:15 发布
原创 最新推荐文章于 2025-12-01 19:45:15 发布 · 688 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #深度学习 #语言模型 #大模型入门 #大模型学习 #AI大模型 #LLM

前言

为什么需要让LLM学会“呼叫外援”？

大语言模型（如ChatGPT）虽然强大，但推理速度慢、算力消耗高。尤其是数学题、编程题等需要多步推理的任务，生成几千个token是家常便饭。这就像让一个博士生做小学数学题——虽然能做对，但时间和电费都让人心疼。

传统解决方案有两种：

  • 全用小模型：速度快，但容易出错。
  • 全用大模型：准确率高，但慢如蜗牛。

更尴尬的是，推理过程中并非每一步都难。比如解方程时，写“设未知数为x”很简单，但后续的复杂计算可能需要更高智商。于是论文提出：能不能让小模型处理简单步骤，遇到难题时自动呼叫大模型？图片

论文：SplitReason: Learning To Offload Reasoning
链接：https://arxiv.org/pdf/2504.16379

小模型和大模型接力生成答案小模型和大模型接力生成答案

SplitReason如何实现“合作推理”？

SplitReason的核心理念是动态分工：

  • 小模型（1.5B参数）：负责80-95%的推理步骤，像实习生一样处理常规任务。
  • 大模型（32B参数）：作为“外援专家”，仅在关键难点介入。

关键机制：

  • 小模型生成过程中，如果遇到困难，会主动发出信号 ，相当于喊“这道题我不会了，大佬快来！”
  • 大模型立刻接手，生成难点部分的答案，完成后用 交回控制权。
  • 两者的KV缓存（记忆模块）实时同步，实现无缝切换。

控制信号的触发与模型切换控制信号的触发与模型切换

如何训练小模型学会“求助”？

第一步：标注“困难段落”

  • 用超大模型（DeepSeek-R1 671B）自动分析18万条数学题的推理过程，标注出20%最难的步骤，并打上 标签。
  • 相当于让学霸给练习题划重点：“这里容易卡壳，需要开挂。”

第二步：分阶段训练

  • 模仿学习（SFT）：让小模型学习标注数据，模仿何时该“求助”。
  • 强化学习（GRPO）：进一步优化，奖励小模型“精准求助”——既不能乱喊救命，也不能硬撑到底。

数据标注过程示意图数据标注过程示意图

实验结果：又快又准

  • 准确率：相比纯小模型，AIME24数学题准确率提升28.3%。
  • 速度：通过卸载5%的任务给大模型，整体推理速度比纯用大模型快5-8倍。
  • 效率：大模型仅处理5%的token，却贡献了关键解题步骤。

实验对比：随机卸载 vs 智能卸载的效果差异实验对比：随机卸载 vs 智能卸载的效果差异

不同规模大模型的性能对比不同规模大模型的性能对比

更惊人的是，即使随机让大模型处理5%的步骤，准确率也能提升20% 。而智能卸载（SplitReason）进一步优化了这一过程，实现“四两拨千斤”。

意义与未来

  • 硬件友好：未来AI不仅要比谁更聪明，还要比谁更“省电”。
  • 开源价值：论文公开了模型、数据集和代码，开发者可以直接复现或改进。
  • 新范式：用强化学习让AI主动优化效率（RLAE），而不仅是模仿人类。

最后

为什么要学AI大模型

当下，⼈⼯智能市场迎来了爆发期，并逐渐进⼊以⼈⼯通⽤智能（AGI）为主导的新时代。企业纷纷官宣“ AI+ ”战略，为新兴技术⼈才创造丰富的就业机会，⼈才缺⼝将达 400 万！

DeepSeek问世以来，生成式AI和大模型技术爆发式增长，让很多岗位重新成了炙手可热的新星，岗位薪资远超很多后端岗位，在程序员中稳居前列。

在这里插入图片描述

与此同时AI与各行各业深度融合，飞速发展，成为炙手可热的新风口，企业非常需要了解AI、懂AI、会用AI的员工，纷纷开出高薪招聘AI大模型相关岗位。
在这里插入图片描述
最近很多程序员朋友都已经学习或者准备学习 AI 大模型，后台也经常会有小伙伴咨询学习路线和学习资料，我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频 全系列的学习资料，这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

AI大模型系统学习路线

在面对AI大模型开发领域的复杂与深入，精准学习显得尤为重要。一份系统的技术路线图，不仅能够帮助开发者清晰地了解从入门到精通所需掌握的知识点，还能提供一条高效、有序的学习路径。

img

但知道是一回事，做又是另一回事，初学者最常遇到的问题主要是理论知识缺乏、资源和工具的限制、模型理解和调试的复杂性，在这基础上，找到高质量的学习资源，不浪费时间、不走弯路，又是重中之重。

AI大模型入门到实战的视频教程+项目包

看视频学习是一种高效、直观、灵活且富有吸引力的学习方式，可以更直观地展示过程，能有效提升学习兴趣和理解力，是现在获取知识的重要途径

在这里插入图片描述
光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述

海量AI大模型必读的经典书籍（PDF）

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。
在这里插入图片描述

600+AI大模型报告（实时更新）

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。
在这里插入图片描述

AI大模型面试真题+答案解析

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下
在这里插入图片描述

在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

Text2SQL推理类大模型本地部署的解决方案
herosunly的博客
03-27 13万+
本文主要介绍了Text2SQL推理类大模型本地部署的解决方案，希望对使用大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型 3. 实战代码
DeepSeek-R1的1.5b、7b、14b、32b等模型的区别与应用
ma20120607的专栏
02-10 1778
1.5B - 14B：轻量级模型，适合基础任务，如文本生成、简单问答等。不过，这类模型可能在深层推理能力上有所欠缺。32B - 70B：属于中等规模的模型，在性能与资源消耗之间达到了较好的平衡，适用于复杂任务，像逻辑推理、代码生成。尤其是在需要上下文理解或者长文本生成的场景中，优势较为明显。671B：这是超大规模的模型，专为高性能场景而设计，例如科研、复杂问题的解决等。为了优化效率，可能采用 MoE 架构（混合专家模型）。
探究理解大语言模型的训练和推理复杂度
Code1994的博客
02-14 1143
先来看看最基本的 Self-Attention为了最终计算出z, 需要一步一步来, 这里面就产生了计算时中间结果占用内存. 我们知道计算机 (无论是 GPU 还是 CPU) 的内存都是分级的, 如果能够优化内存占用, 就可以尽可能减少内存的存取, 这个对于 latency 的降低帮助很大.
OPENAI O1总结Learning to Reason with LLMs
yang_daxia的博客
09-18 939
OpenAI 01在编程问题(Codeforces)上排名超过89%的人，在美国数学奥林匹克(AIME)预选赛中排名前500位，在物理、生物和化学问题(GPQA)的基准上超过了人类博士水平的准确性。参考：https://openai.com/index/learning-to-reason-with-llms/通过强化学习训练，O1推理时利用思维链，可以自动找到cot策略、纠正错误、简化推理步骤、再错误时换另一个思维链。和gpt4o相比，在编程、数据分析、数学计算等大幅领先gpt4o。所以这是一个偏科生。
SplitReason：在复杂步骤借助更大尺寸模型推理，1.5B+32B，实现准确率28%提升+8倍速度提升
王哥儿聊AI的博客
04-28 775
大型语言模型（LLM）的推理过程往往会产生比简单语言建模任务更长的标记生成序列。这种更长的生成长度反映了推理的多步骤和组合性质，并且通常与更高的解决方案准确性相关。从效率角度来看，更长的标记生成加剧了LLM解码阶段固有的顺序性和内存受限问题。然而，并非推理过程的所有部分生成难度都相同。我们利用这一观察结果，将推理过程中最具挑战性的部分卸载到一个更大、能力更强的模型中，而大部分生成工作则由一个更小、更高效的模型完成；此外，我们还训练较小的模型识别这些困难部分，并在需要时独立触发卸载。
DeepSeek-R1模型1.5b、7b、8b、14b、32b、70b和671b有啥区别？
热门推荐
facaixxx2024的博客
02-02 3万+
deepseek-r1的1.5b、7b、8b、14b、32b、70b和671b有啥区别？码笔记mabiji.com分享：1.5B、7B、8B、14B、32B、70B是蒸馏后的小模型，671B是基础大模型，它们的区别主要体现在参数规模、模型容量、性能表现、准确性、训练成本、推理成本和不同使用场景
一文通透登上Nature的DeepSeek R1：如何通过纯RL训练以比肩甚至超越OpenAI o1(含Kimi K1.5、QwQ-32B的解读)
结构之法 算法之道
01-21 3万+
而DeepSeek-V3和Kimi K1.5的意义在于，即便它两和OpenAI o1的实现不一致(当然，也可能很大程度上一致) 也不是很重要的事情了，因为从结果的角度出发，它两的效果比肩甚至超越o1，单这一点 就足够了。没想到，DeepSeek-V3还没解读完，DeepSeek-R1又来了，而且几乎同一时期，Kimi K1.5也来了。有意思的在它两的技术报告里，很多指标都比肩甚至超越OpenAI的o1模型。因此，本文重点解读一下它两的技术报告。
精选资源
大模型部署-将Qwen1.5大语言模型导出为ONNX或TFlite-附项目源码+流程教程-优质项目实战.zip
10-15
例如，大型模型在转换格式时可能会遇到性能瓶颈，本项目在源码中可能包含了优化措施，比如模型裁剪、量化等技术，这些技术可以在不显著降低模型准确性的前提下减少模型大小，提升模型推理速度。 此外，本项目还考虑...
微调0.5 B-32B模型要达到85%的准确率需要的数据和资源-会话质检和会话小结
03-25 648
此时的模型如同一位行业大师，需要海量的数据来微调其对对话细节的把握，从而在质检和小结任务中达到极高的准确率，处理各种罕见和复杂的对话情况。这是人工智能领域的巨无霸，需要海量的高质量数据来微调其复杂的参数，以在最复杂的对话场景中达到卓越的性能，满足高标准的质检和小结要求。选择合适的模型规模和相应的资源配置，能够让您在人工智能应用的道路上事半功倍，轻松应对各种复杂场景，为您的业务发展提供强大的智能支持。这相当于一条小河，能够处理更长的对话内容，适合中等复杂度的对话场景，如一般的业务洽谈和多轮对话。
如何本地部署Qwen3系列的大小模型235B/32B并进行推理服务及并发测试？
本博客，博文仅代表个人操作经验，不能完全解决你的问题，仅供参考，佛系回复。
05-18 960
Ubuntu 20.04环境下，本地部署Qwen3系列模型（如Qwen3-32B-FP8、Qwen3-235B-A22B-AWQ）并进行推理服务及并发测试的步骤如下： 环境准备：创建模型文件夹并配置Conda源，使用清华镜像加速依赖安装。 虚拟环境：创建并激活Conda虚拟环境，安装Python 3.10。 依赖安装：安装PyTorch（CUDA 11.8）和vLLM推理框架，支持在线或离线安装。 模型下载：使用ModelScope工具下载Qwen3系列模型。
如何从头训练大语言模型，实战经验分享！！
h1453586413的博客
11-01 708
自8月底训好自己的1.5B的LLM后，一直都没有发布一个完整的技术报告，不少小伙伴私信我催更，千呼万唤始出来。：搞定全流程之后，对LLM确实豁然开朗不少，不过，发现要学的新东西更多了…尤其是这三个月，qwen, meta, anthropic等等发布的好文章实在太多了，真不想落下，没时间"反刍"当年的剩饭。：对reasoning更感兴趣了(其实训1.5B模型的初衷，就是为了给将来从pretrain开始做reason的增强打基础)。：9月保研季，保研的事情忙的焦头烂额，各种预推免与考核…还好现在终于有书读了。
【推荐系统】深度学习训练框架（五）：pyspark分布式TorchDistributor主从读取OSS文件认证机制
人工智能领域博客
11-28 1831
摘要： 本文详细解释了Spark Driver端与Worker端在OSS认证上的核心区别。Driver端通过Spark配置自动认证，而Worker端（独立Python进程）需显式提供认证信息。认证来源优先级为：1)Driver传递参数，2)环境变量，3)IAM角色。文章分析了架构差异导致的不同认证方式，并推荐从Driver传递认证信息的解决方案。当前实现已采用该方案，通过Spark配置或环境变量获取认证后传递给Worker进程，确保PyArrow能正确访问OSS数据。
向量嵌入：RAG系统背后的语义引擎
uncle_ll的博客
11-29 1240
向量嵌入技术将高维语义信息压缩为低维向量，使相似概念在向量空间中聚集。作为RAG系统的核心，嵌入质量直接影响语义检索效果。从静态词嵌入到动态上下文嵌入，技术不断演进，解决了多义词等难题。现代嵌入模型基于Transformer架构，通过对比学习优化检索性能。选型需考虑MTEB排名、语言支持等维度，并结合业务测试。未来趋势包括多模态融合、知识图谱增强和轻量化部署。嵌入技术已成为NLP领域的关键支柱，其优化对提升RAG系统性能至关重要。
07_Spring AI 干货笔记之提示词
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
11-30 1151
本文详细介绍了Spring AI中的提示词核心概念与API设计。提示词作为引导AI模型生成特定输出的关键输入，其结构从简单字符串演进为包含多角色消息的复杂形式。Spring AI通过Prompt和Message接口提供结构化提示词管理，支持系统、用户、助手等角色分配。PromptTemplate类实现动态内容渲染，并支持自定义模板引擎。文章还涵盖提示词工程的最佳实践与令牌机制，为开发者提供完整的提示词设计解决方案。
RAG信息检索全解析：从Embedding到Reranker的超详细教程1
Trb201013的博客
11-27 1461
文章介绍了RAG系统中信息检索环节的核心技术，包括文档段落嵌入和用户查询嵌入，将文本转换为向量表示；详细解释了相似度检索的多种方法，如Top-K检索、MMR策略和Reranker二次排序技术；强调了合理切分策略对嵌入效果的重要性，以及查询扩展技术对提高检索准确度的作用。指出RAG的本质是"开卷考试"，检索质量直接影响最终生成效果。
【LLM】DeepSeekMath-V2模型
发现问题，并解决问题，批判性思维
11-29 848
研究问题：这篇文章要解决的问题是如何在大型语言模型（LLMs）中进行自我验证的数学推理。具体来说，现有的基于最终答案奖励的强化学习方法在数学推理中存在根本局限性，因为正确答案并不能保证推理的正确性，特别是在定理证明任务中。 研究难点：该问题的研究难点包括：如何在不依赖最终答案的情况下验证推理的正确性；如何在生成和验证之间建立有效的迭代改进循环；如何在没有已知解决方案的开放问题上扩展测试时计算。 相关工作：该问题的研究相关工作有：OpenAI的推理模型在定量推理竞赛中取得了显著进展；DeepMind的Deep
LMM-Det：让大型多模态模型在目标检测中脱颖而出
AI浩
12-01 740
大型多模态模型因其在多模态理解、推理和上下文学习等方面的卓越能力，在人工智能研究和工业界引起了广泛的关注和兴趣。虽然 LMM 在图像描述、视觉问答和视觉定位等多模态任务上已展现出有前景的结果，但其目标检测能力与专业检测器相比仍存在显著差距。为弥补这一差距，我们摒弃了将重型检测器与 LMM 集成的传统方法，提出了 LMM-Det，这是一种简单而有效的方法，它利用大型多模态模型进行纯目标检测，而无需依赖专门的检测模块。
昇腾平台 vLLM 部署与性能优化实战：高吞吐推理落地指南
最新发布
二哈喇子！
12-01 3709
昇腾平台vLLM部署与性能优化实战摘要
32B浮点模型所需的推理资源和128B int8量化模型的推理资源，哪个消耗更多？
07-04
### 模型大小与推理资源消耗的关系 在讨论32B浮点模型与128B int8量化模型的推理资源消耗时，需要理解模型大小与数据类型之间的关系。通常情况下，浮点数（FP32）占用4字节（32位），而INT8量化后的整数仅占用1字节（8位）。这意味着，理论上，将FP32模型转换为INT8模型可以减少模型大小至原来的1/4[^1]。 ### 存储需求对比 考虑到32B浮点模型指的是模型权重使用FP32格式存储，其实际占用的空间将是128B INT8量化模型的四倍。这是因为INT8量化通过将连续取值近似为有限多个离散值来减少模型尺寸，进而减少在推理时的内存消耗，并且在一些低精度运算较快的处理器上可以增加推理速度[^2]。 ### 内存带宽和计算效率 由于INT8量化减少了模型的存储空间需求，因此也降低了内存带宽的要求。更低的内存带宽需求意味着在执行推理任务时，可以更快地访问所需的数据，从而加快了模型的推理过程。此外，大多数处理器对8bits的运算更快，这进一步提升了推理速度[^3]。 ### 能耗与性能平衡 使用更低bits数的模型不仅能够减少在运算过程中的内存与缓存消耗，而且由于8bits的计算拥有更好的实现效率，因此进行对应的计算所消耗的能量更少。这对于边缘设备和嵌入式系统等资源受限环境尤为重要[^3]。 ### 精度与实用性考量 尽管INT8量化可能会导致一定的精度损失，但由于CNN对噪声不敏感的特点，以及各层weights范围基本确定且波动不大，适合量化压缩，因此这种损失通常是可接受的。相比之下，直接训练低精度模型则面临挑战，因为训练过程中依赖的反向传播和梯度下降难以在INT8环境下有效执行[^5]。 ### 示例代码：模型推理资源消耗评估 ```python def estimate_memory_usage(model_size_gb, data_type_bits): """ 估算模型推理时的内存使用情况。 参数: model_size_gb (float): 模型大小以GB为单位 data_type_bits (int): 数据类型的位数 返回: float: 推理时的内存使用估计值（GB） """ bytes_per_element = data_type_bits / 8 return model_size_gb * (32 / data_type_bits) # 假设FP32模型大小为基准 # 计算32B浮点模型与128B int8量化模型的内存使用 fp32_model_size_gb = 32 int8_model_size_gb = 128 memory_usage_fp32 = estimate_memory_usage(fp32_model_size_gb, 32) memory_usage_int8 = estimate_memory_usage(int8_model_size_gb, 8) print(f"32B浮点模型推理时内存使用约为 {memory_usage_fp32} GB") print(f"128B int8量化模型推理时内存使用约为 {memory_usage_int8} GB") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值