拒绝不必要Think：微软&北大提出第一种自适应大型混合推理模型

最新推荐文章于 2025-11-28 15:37:34 发布
原创 最新推荐文章于 2025-11-28 15:37:34 发布 · 525 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

大型推理模型（LRMs）过度冗长的思考过程在token消耗和延迟方面带来了巨大的开销，尤其是对于简单查询来说，这种思考过程往往是不必要的。

图片

微软研究院&北大提出了大型混合推理模型（LHRMs），这是第一种能够根据用户查询的上下文信息自适应地决定是否进行思考的模型。为了实现这一目标，提出了一种包含两个阶段的训练流程：以混合微调（HFT）作为冷启动，随后通过提出的混合群体策略优化（HGPO）进行在线强化学习，以隐式地学习选择合适的思考模式。

Qwen2.5-7B-Instruct、DeepSeek-R1-Distill-Qwen-7B以及LHRMs-7B在推理相关任务（上）和日常问答任务（下）中的示例回答，LHRMs能够自适应地决定何时进行思考，在保持强大推理能力的同时，实现了更快、更自然的日常交互。

图片

第一阶段：混合微调

  • 数据构建：混合微调数据集包含推理密集型（思考模式）和直接回答（无思考模式）的样本。思考模式的数据集包括高质量的数学、代码和科学问题，而无思考模式的数据集则包含简单的查询。

  • 优化目标：HFT 的目标是基于上下文预测下一个标记。

第二阶段：混合群体策略优化

  • 采样策略：对于每个查询 q，从旧策略中分别使用两种推理模式采样 N 个候选响应奖

  • 励评分和分配：使用奖励函数对每个候选输出进行评分，并根据平均奖励值分配二进制奖励，以捕获不同推理模式之间的相对质量和每个推理模式内的答案质量。

  • 优势估计：使用 GRPO 作为默认优势估计器，计算每个响应的最终每标记优势。

  • 优化目标：HGPO 通过最大化以下目标函数来优化策略模型，该函数结合了奖励和策略更新的约束。

图片

评估混合思考能力

  • 混合准确率（Hybrid Accuracy, HAcc）：提出一个新的评估指标 HAcc，用于衡量模型在不同任务中正确选择适当推理模式的能力。通过比较模型选择的推理模式与基于奖励模型评分的“真实”推理模式的一致性来计算 HAcc。

实验结果显示（1.5B 和 7B），LHRMs能够自适应地对不同难度和类型的查询进行混合思考。它在推理和通用能力方面超越了现有的LRMs和LLMs，同时显著提高了效率。

图片

图片

图片

https://arxiv.org/pdf/2505.14631Think Only When You Need with Large Hybrid-Reasoning Models

来源 | PaperAgent

AIBigModel
关注
Eliciting Causal Abilities in Large Language Models for Reasoning Tasks
qq_52053775的博客
04-23 219
大型语言模型（Large Language Models, LLMs）面临的一个主要挑战是其推理能力不足（Dziri 等，2024；Cao 等，2024）。当前的LLMs在系统1（System-1）任务上表现良好，但在处理系统2（System-2）问题时存在局限性（Bengio 等，2019）。基于提示（prompting）的方法（Lester, Al-Rfou, 和 Constant 2021；Liu 等，2023）旨在使LLMs理解输入提示并通过设计和构建提示适应下游任务，这几年来成为研究的焦点。
【DeepSeek部署实战】DeepSeek-R1-Distill-Qwen-7B：基于vLLM 搭建高性能推理服务器
寻道AI，探索AI无限可能！
03-21 4842
大语言模型的落地应用离不开高效推理框架的支持，vLLM以其卓越的性能在众多框架中脱颖而出。本文将带你深入探索如何使用vLLM框架部署DeepSeek-R1-Distill-Qwen大语言模型，无论是深度学习新手还是有经验的开发者，都能从中获取实用的知识和技能。# 创建采样参数。temperature 控制生成文本的多样性，top_p 控制核心采样的概率# 初始化 vLLM 推理引擎# 初始化 vLLM 推理引擎。
【论文阅读】Think Only When You Need with Large Hybrid-Reasoning Models
quintus0505的博客
07-13 1350
这篇论文提出了一种新型大型混合推理模型(LHRM)，能够自适应地决定是否需要深入思考来回答用户查询。作者设计了两阶段训练方法：混合微调(HFT)阶段通过结合思考模式和非思考模式数据进行初步训练；混合组策略优化(HGPO)阶段采用无Critic模型的强化学习算法，通过多样本估计来优化模型的自适应推理能力。该方法在保持推理性能的同时显著提高了效率，并通过"混合准确率"新指标评估模型表现。实验表明LHRM在推理和通用任务上优于现有模型，同时降低了计算开销。
AdaThinkDrive：通过强化学习实现自动驾驶的自适应思维
yorkhunter的博客
11-01 904
25年9月来自清华、小米电动汽车、澳门大学、新加坡南洋理工和北大的论文"AdaThinkDrive: Adaptive Thinking via Reinforcement Learning for Autonomous Driving"。 思维链 (CoT) 等推理技术已广泛应用于视觉-语言-动作 (VLA) 模型，在端到端自动驾驶中展现出了良好的性能。然而，最近整合 CoT 推理的努力往往在简单场景中表现不佳，引入不必要的计算开销而没有提高决策质量。为了解决这个问题，AdaThinkDrive，一个
DeepSeek-V3.1：大模型推理效率革命，混合思维模式重塑企业级AI应用
gitblog_01156的博客
11-08 747
你是否曾为AI助手回答简单问题时的冗长思考感到困扰？DeepSeek-V3.1的问世彻底改变了这一现状。作为深度求索最新发布的混合思维大模型，它首次实现了在单一模型中无缝切换思考（Thinking）与非思考（Non-Thinking）两种模式，不仅在MMLU等权威榜单上刷新纪录，更将企业级AI应用的效率与成本平衡推向新高度。读完本文，你将清晰了解：混合思维模式如何颠覆传统推理逻辑、128K超长上下
AdaThinkDrive：引入快思慢想，用强化学习教自动驾驶模型自适应思考，精度、效率双SOTA
我爱计算机视觉
09-24 821
然而，一个关键的矛盾也随之而来：我们希望车辆在十字路口、人车混流等复杂场景下“深思熟虑”，但在畅通无阻的高速公路上，我们又希望它“当机立断”，不要浪费宝贵的计算资源和时间去进行不必要的“思考”。然后，系统会比较这两种轨迹的质量（例如，用PDMS分数衡量）。当前的端到端自动驾驶模型，特别是基于视觉-语言-行动（VLA）的大模型，正在从简单的“感知-决策”向更高级的“感知-推理-决策”演进。作为一种强大的推理技术，能够让模型模拟人类的思考过程，一步步分析问题，从而在复杂的驾驶场景中做出更合理、更安全的决策。
北大校友，OpenAI前安全副总裁Lilian Weng最新万字博客文章：Why We Think
人工智能学家
05-18 489
文章深入剖析了通过思维链（Chain-of-Thought）、智能解码策略、潜在思考（Latent Thoughts）等多样化机制，有效利用“思考时间”来突破当前AI性能瓶颈的理论基础、技术实现与前沿进展。
突破文本依赖！剑桥大学新论文：大模型实现纯视觉规划，性能超越语言模型36.9%！
m0_65555479的博客
10-08 817
剑桥大学最新研究表明，AI模型可实现纯视觉规划，仅通过图像序列进行推理，无需文本中介。研究采用强化学习(GRPO)框架，在导航任务中性能超越语言模型36.9%，且泛化性和鲁棒性更强。这一发现证实了人类认知中存在独立的语言和视觉通道，为构建"双语义通道"AI系统奠定基础，同时挑战了"文本为推理核心"的传统认知，推动AI向多模态自主化演进。
揭秘o1类模型的过度思考：明明只需5个token,它偏要用900个?
强化学习曾小健
01-02 848
这篇论文探讨了一类被称为。
2024年7月31日Arxiv语言模型相关论文
数智笔记
07-31 1041
自动软件审查系统无法确定一篇帖子是支持还是反驳虚假言论，导致大量情境性假阳性。这限制了它们的有效性，例如通过在专家帖子上添加警告或诉诸模糊警告而不是细致的事实核查来破坏对健康专家的信任，从而使用户产生麻木感。在本文中，我们建议将立场检测纳入现有的自动软审查流程中，目的是排除情境性假阳性，并为应该接收警告的社交媒体内容提供更精确的建议。我们开发了一个名为对比文本偏差（CTD）的文本偏差任务，并展示了当应用于软审查时，它优于现有的立场检测方法。
北京大学 人工智能实践：Tensorflow笔记——曹健（writed by Enigmalgia）
Enigmalgia
12-19 7905
可以看下我转载的一篇文章机器学习入门概括 关于TensorFlow的安装Ubuntu18.04下安装anaconda和pycharm搭建TensorFlow 贴一下TensorFlow的官方中文版教程 TensorFlow的中文API文档 曹健老师的GitHub源码 持续更新，在和同学交流之后被推荐了北京大学曹健老师的这门实践课，学习TensorFlow的实践。先致谢一下曹健老师！...
基于matlab的自适应模糊pid控制算法仿真研究
06-06
考虑到自适应模糊PID本质是双层结构，回复需要分层说明：1）外层自适应机制（参考《模糊系统与模糊控制教程》的梯度调整法）2）内层模糊PID推理（上次的代码可以复用）3）Simulink实现要点（用户没提但肯定会用到的...
（116页PPT）关于5G和新基建赋能智慧工地整体解决方案（附下载方式）
2501_92808811的博客
11-25 822
在整体架构方面，方案以“5G智慧工地平台”为核心，依托多类感知设备（如传感器、摄像头、AI眼镜、智能安全帽等）采集数据，通过5G网络实时回传至云平台，再借助大数据、云计算、人工智能等技术进行分析处理，最终在PC、手机、监控大屏等多终端进行可视化展示。此外，文件还详细列举了传统智慧工地子系统（如深基坑监测、升降机监控、扬尘噪音监测、智能水电计量等）的功能与部署方式，并补充了如5G企业专网、实测机器人、智慧科技体验中心等延伸应用，体现出方案的系统性与前瞻性。详细资料请看本解读文章的最后内容。
信息检索13
2301_80828873的博客
11-26 1191
最近邻检索的方法，PQ，IVF,HNSW
【推荐系统】深度学习训练框架（五）：pyspark分布式TorchDistributor主从读取OSS文件认证机制
最新发布
人工智能领域博客
11-28 507
摘要： 本文详细解释了Spark Driver端与Worker端在OSS认证上的核心区别。Driver端通过Spark配置自动认证，而Worker端（独立Python进程）需显式提供认证信息。认证来源优先级为：1)Driver传递参数，2)环境变量，3)IAM角色。文章分析了架构差异导致的不同认证方式，并推荐从Driver传递认证信息的解决方案。当前实现已采用该方案，通过Spark配置或环境变量获取认证后传递给Worker进程，确保PyArrow能正确访问OSS数据。
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 968
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
RAG信息检索全解析：从Embedding到Reranker的超详细教程1
Trb201013的博客
11-27 552
文章介绍了RAG系统中信息检索环节的核心技术，包括文档段落嵌入和用户查询嵌入，将文本转换为向量表示；详细解释了相似度检索的多种方法，如Top-K检索、MMR策略和Reranker二次排序技术；强调了合理切分策略对嵌入效果的重要性，以及查询扩展技术对提高检索准确度的作用。指出RAG的本质是"开卷考试"，检索质量直接影响最终生成效果。
【LoRA（低秩适应）技术详解：原理、公式与实践】
m0_46882548的博客
11-26 993
参数高效：可训练参数量通常仅为全量微调的0.01% - 3%，极大降低了计算和存储成本。内存友好：由于大部分原始权重被冻结，无需存储其优化器状态，显著减少了训练时的显存占用。无推理延迟：训练后可将LoRA权重合并回原模型，推理速度与原始模型一致。模块化与灵活性：一个基础模型可以搭配多个针对不同任务的、体积很小（几兆字节）的LoRA适配器，轻松切换任务。减轻灾难性遗忘：因为原始权重基本不动，模型在适应新任务时更不容易遗忘预训练时获得的通用知识。
卫星遥感落地林草监测：多源数据融合+AI算法
okk202586的博客
11-27 311
全面完善昌吉州林草资源网络感知体系，建立全州林草资源一体化综合管理平台，全面加强林草安全防火监测预警、有害生物防治信息化、林草资源监管能力，实现林草资源、安全防火、有害生物防控、林长制监督管理等。在不同区域、不同场景下的落地能力，案例可以充分说明，智慧林草并非单纯的技术堆砌，而是真正贴合林草业务流程、解决实际问题的“实战型”方案，太空守护林海正在变成可能~根据林草业务需要，建设林长制、资源监管、生态保护、生态修复、灾害防护、科技创新等六类业务系统，构建智慧林草综合监管业务系统体系，全面支撑林草业务。
自适应动态权重预测模型
06-27
<think>我们正在处理一个关于“自适应动态权重预测模型”的查询。用户希望了解或构建这种模型。首先，我们需要定义这种模型：它应该能够根据数据的变化动态调整其内部权重，以提高预测准确性。根据引用[1]，大规模预训练和适当的集成策略可以在不考虑时间信息的情况下取得良好效果，但我们的模型需要动态调整权重，因此可能需要考虑时间或序列特性。引用[2]提到神经网络编码器-解码器系统可能只是记忆训练数据，而不是真正理解。因此，我们应避免简单的记忆，而设计具有自适应能力的模型。引用[3]指出AI代理可以通过自动化和预测分析提高效率。我们的模型可以视为一种AI代理，它应能自动调整权重以适应变化。引用[4]关于图池化和混合卷积操作，可能对处理结构化数据（如文本）有用，但用户问题未明确数据类型。因此，我们设计模型时需考虑：1.动态调整权重：模型应能根据新数据或环境变化自动更新权重。2.避免过拟合：确保模型学习泛化能力，而非记忆数据。3.高效性：考虑到计算和内存成本（引用[1]提到多帧的成本问题）。可能的模型选择：-在线学习模型：如在线梯度下降，每次更新权重。-强化学习：使用奖励机制调整权重。-集成方法：如动态加权集成多个基模型。-自适应神经网络：如使用门控机制或注意力机制动态调整权重。由于用户未指定具体应用，我们以时间序列预测为例（因为动态权重常用于处理非平稳序列）。设计一个简单的时间序列预测模型，使用指数加权移动平均（EWMA）作为动态调整权重的例子，然后扩展到神经网络。步骤：1.问题定义：给定时间序列数据，预测下一个时间点的值。2.模型结构：使用一个循环神经网络（RNN）或LSTM，但加入自适应权重调整机制。具体实现：在RNN的隐藏状态更新中，加入一个可学习的权重调整因子，该因子由当前输入和上一个隐藏状态共同决定。数学表示：设$t$时刻的输入为$x_t$，隐藏状态为$h_t$，则传统的RNN更新为：$$h_t=\tanh(W_{xh}x_t+W_{hh}h_{t-1}+b_h)$$我们引入动态权重调整因子$\alpha_t$，它由一个小型网络（如全连接层）生成：$$\alpha_t=\sigma(W_a[x_t;h_{t-1}]+b_a)$$其中$\sigma$是sigmoid函数，$[x_t;h_{t-1}]$是拼接向量。然后，我们使用$\alpha_t$来调整输入权重和循环权重的比例：$$h_t=\tanh(\alpha_t\cdot(W_{xh}x_t)+(1-\alpha_t)\cdot(W_{hh}h_{t-1})+b_h)$$这样，模型可以根据当前输入和之前状态的重要性动态调整权重。训练：使用时间序列数据，通过反向传播和梯度下降优化所有参数（包括$W_{xh},W_{hh},W_a,b_h,b_a$）。这种模型能够动态调整权重，适应数据的变化。考虑到用户可能希望看到代码示例，我们提供一个简化的伪代码（使用PyTorch风格）：```pythonimporttorchimporttorch.nnasnnclassAdaptiveRNN(nn.Module):def__init__(self,input_size,hidden_size):super(AdaptiveRNN,self).__init__()self.input_size=input_sizeself.hidden_size=hidden_size#定义权重矩阵self.W_xh=nn.Linear(input_size,hidden_size)self.W_hh=nn.Linear(hidden_size,hidden_size)#定义动态权重生成网络self.alpha_net=nn.Linear(input_size+hidden_size,1)self.tanh=nn.Tanh()defforward(self,x,h_prev):#x:当前输入，h_prev:上一个隐藏状态#生成alpha_talpha_input=torch.cat([x,h_prev],dim=-1)alpha_t=torch.sigmoid(self.alpha_net(alpha_input))#计算输入部分和循环部分part_input=self.W_xh(x)part_hidden=self.W_hh(h_prev)#动态加权h_t=self.tanh(alpha_t*part_input+(1-alpha_t)*part_hidden)returnh_t```注意：这只是一个基础示例，实际中可能需要更复杂的结构（如多层、双向等）。最后，根据要求生成相关问题。</think>### 自适应动态权重预测模型 自适应动态权重预测模型是一种能根据输入数据特征自动调整内部权重分配的机器学习模型，常用于处理非平稳数据流或需动态适应环境变化的场景。其核心是通过实时分析数据分布变化，动态优化模型参数权重，提升预测鲁棒性。 #### 核心原理 1. **权重动态调整机制** 模型通过在线学习算法（如在线梯度下降）或门控网络（如注意力机制）实时计算权重调整因子$\alpha_t$： $$ \alpha_t = \sigma(\mathbf{W} \cdot [\mathbf{x}_t; \mathbf{h}_{t-1}] + \mathbf{b}) $$ 其中$\sigma$为激活函数，$\mathbf{x}_t$为$t$时刻输入，$\mathbf{h}_{t-1}$为历史状态。 2. **多模型集成架构** 结合多个基模型（如LSTM、CNN、线性回归）的输出，通过自适应权重$w_i$加权融合： $$ \hat{y} = \sum_{i=1}^k w_i \cdot f_i(\mathbf{x}), \quad \sum w_i = 1 $$ 权重$w_i$由元学习器根据输入特征动态生成[^4]。 #### 关键技术实现 ```python import torch import torch.nn as nn class AdaptiveWeightModel(nn.Module): def __init__(self, input_dim, n_models): super().__init__() # 基模型池（示例含LSTM/CNN/线性） self.base_models = nn.ModuleList([ nn.LSTM(input_dim, 16), nn.Conv1d(input_dim, 16, 3), nn.Linear(input_dim, 16) ]) # 权重生成网络 self.weight_net = nn.Sequential( nn.Linear(input_dim * n_models, 32), nn.ReLU(), nn.Linear(32, n_models), nn.Softmax(dim=1) # 权重归一化 ) def forward(self, x): outputs = [model(x) for model in self.base_models] concat_out = torch.cat(outputs, dim=1) weights = self.weight_net(concat_out) # 动态权重 return torch.sum(weights * concat_out, dim=1) ``` #### 应用场景与优势 1. **时序预测** 在股票价格预测中动态调整技术指标与新闻情感的权重，解决市场状态切换问题[^1]。 2. **多模态融合** 视频分析中自适应平衡视觉帧与音频特征的贡献权重，避免静态外观偏差（如引用[1]所述现象）。 3. **概念漂移处理** 电商推荐系统实时调整用户长/短期兴趣模型权重，应对行为模式突变。 4. **资源优化** 通过权重压缩（如$\ell_1$正则化）减少高成本模型调用，满足引用[1]强调的计算效率需求。 #### 训练注意事项 - **损失函数设计**：需包含权重稳定性约束项 $$\mathcal{L} = \mathcal{L}_{pred} + \lambda \sum \| \nabla w_i \|_2$$ - **数据策略**：使用滑动窗口验证防止过拟合，避免引用[2]指出的"记忆而非理解"问题 - **部署**：采用模型蒸馏技术压缩动态权重网络，适配边缘设备
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值