ThinkDial: An Open Recipe for Controlling Reasoning Effort in Large Language Models

ThinkDial论文总结与核心部分翻译

一、文章主要内容

ThinkDial是字节跳动等团队提出的首个开源端到端框架，旨在解决大型语言模型（LLMs）推理过程中计算成本难以控制的问题，成功实现了类似OpenAI的gpt-oss系列模型的离散操作模式可控推理。

1. 研究背景与问题

• LLMs虽凭借思维链（CoT）推理在复杂任务中表现出色，但常生成冗长、冗余的推理过程，导致计算成本升高、误差传播引发质量下降及可解释性降低。
• 现有可控推理方法存在局限：要么需用户指定精确token预算（用户需掌握技术知识，且难适配不同难度问题），要么仅支持“思考/不思考”二元切换（无法提供多优先级选择）；而gpt-oss的三模式（低、中、高）可控推理虽效果好，却未开源。

2. 核心技术框架

采用端到端训练范式，将预算模式控制融入全流程，包含三步关键操作：

• 预算模式监督微调（Budget-Mode SFT）：构建专用训练数据，为同一问题生成高、中、低三种推理深度的正确样本（高模式保留完整推理链，中、低模式分别截断至原长度的50%、25%），并设计模式专属系统提示，让模型学习模式与推理模式的关联，建立稳定输出分布，避免后续强化学习（RL）中模式干扰。
• 阶段1：预热RL训练（Warm-up RL）：不设压缩约束，仅最大化模型性能，使模型达到推理能力峰值，为后续压缩奠定高性能基础。