Reverse-Engineered Reasoning for Open-Ended Generation

一、主要内容总结

1. 研究背景与核心问题

“深度推理”范式在数学、编程等可验证领域已取得显著进展，但在创意写作等开放式生成任务中面临关键瓶颈：现有主流方法（强化学习RL、指令蒸馏）均存在缺陷——RL缺乏清晰的奖励信号与高质量奖励模型，蒸馏成本极高且受限于教师模型能力，而开放式任务因无客观真值，难以直接适配这些方法。

2. 核心方案：逆向工程推理（REER）

提出一种“反向推导”的全新范式，从已知的高质量输出反向计算出潜在的分步深度推理过程，而非通过试错或模仿“正向构建”推理链。具体通过梯度无关的局部搜索算法，以高质量输出的困惑度（PPL）为质量代理指标，迭代优化初始推理轨迹，最终生成结构化的类人推理过程。

3. 数据集与模型构建

• 构建DeepWriting-20K数据集：涵盖25个类别、20000条深度推理轨迹，数据源包括公共写作平台、公版文献及开源数据集，经筛选确保质量与多样性。
• 训练DeepWriter-8B模型：基于Qwen3-8B基座模型，采用混合数据策略（融合自研轨迹与公共推理数据）微调，使其内化深度推理能力。

4. 实验结果

在LongBench、HelloBench、WritingBench三大基准测试中，DeepWriter-8B显著超越LongWriter-8B等开源基线模型，且在创意写作（如HB-B）、超长文本生成