探索混合可调专家（MoTE）技术：DeepSeek大型语言模型行为控制新突破

目录

一、LLMs 行为调控需求与现有方法概述

二、MoTE 技术核心剖析

（一）DeepSeek - R1 架构基础

（二）专家激活分析技术 ——fTRI

（三）多维提示敏感性分析

（四）独特专家的识别方法

三、MoTE 技术实验成果展示

（一）抑制独特专家的效果

（二）大规模数据集验证

（三）刺激独特专家的影响

（四）推理语言转换应用

（五）对模型整体质量的影响

四、研究总结与展望

---

在大型语言模型（LLMs）蓬勃发展的当下，如何精准调控其行为、深入理解其内部机制成为研究焦点。本文将详细解读 “混合可调专家（MoTE）” 这一创新技术，剖析其在 DeepSeek - R1 模型上的应用成果，为相关领域研究者和技术爱好者提供全面且深入的技术洞察。

一、LLMs 行为调控需求与现有方法概述

LLMs 已广泛融入各个领域，不同应用场景对其行为和能力的多样化需求，促使研究人员不断探索有效的适应性方法。目前主要存在以下几类方法：

• 提示工程：在 LLMs 常规聊天界面中发挥作用，通过精心构造提示激发模型的额外行为。它适用性广泛，即使是封闭源系统也可应用，但难以实现深度定制。
• 目标导向微调：实现难度较高，需要专业知识以及对基础模型权重的访问权限或专门的微调 API。通过数据集整理和微调生成基础模型的新版本，不过该过程较为复杂。
• 直接大脑干预：在推理过程中对模型进行针对性修改，改变神经网络子区域的权重和神经元激活状态。这一方法尚处于研究阶段，尚未在生产环境中部署。

稀疏自编码器（SAEs）是当前研究的一个突出方向，通过自编码方式重建 LLM 内部特征，实现对模型行为的控制。而本文重点介绍的 MoTE 技术，同样属于直接大脑干预范畴，基于成熟的 MoE 架构，为 LLMs 行为调控带来新的思路。

二、MoTE 技术核心剖析

（一）DeepSeek - R1 架构基础

DeepSeek - R1 架构基于 DeepSeekMoE，其创新点在于对 Transformer 框架内的前馈网络（FFNs）进行优化。通过稀疏 MoE 层将 FFNs 切割成更小的并行子网络，分为共享专家和路由专家。共享专家始终处于激活状态，负责捕捉不同上下文中的共同知识；路由专家仅在被上游路由器网络选中时激活，专注于获取非重叠且集中的知识。在 R1 模型中，每个 MoE 层包含 1 个共享专家和 256 个路由专家，整个模型共有 14,906 个专家，其中路由专家达 14,848 个，推理时每层路由器激活 8 个路由专家。