2025_NIPS_SAFEPATH: Preventing Harmful Reasoning in Chain-of-Thought via Early Alignment

文章核心总结与翻译

一、主要内容

该研究针对大型推理模型（LRMs）在处理有害提示时易产生不安全输出，且现有安全对齐方法存在"安全税"（即牺牲推理性能）的问题，提出了轻量级对齐方法SAFEPATH。其核心是通过8-token的安全前缀（“Let’s think about safety first”）引导模型在推理初期建立安全意识，同时不干预后续推理过程。研究通过双数据集训练（安全触发集+推理保留集）实现安全与推理能力的平衡，并衍生出无需微调的零样本变体ZS-SAFEPATH。实验结果显示，SAFEPATH在DeepSeek-R1-Distill-Llama-8B模型中可减少90.0%的有害响应，阻挡83.3%的越狱攻击，训练成本仅为Direct Refusal的1/295.9、SafeChain的1/314.1，且几乎不损失推理性能。

二、创新点

1. 轻量级安全引导机制：仅通过8-token固定前缀实现安全对齐，无需对整个推理过程进行严格约束或监督，避免了传统方法的刚性限制。
2. 动态安全激活特性：模型在对抗性提示下会自发多次重新激活安全前缀，形成上下文敏感的持续安全防护，而非仅在初始阶段生效。
3. 低计算成本设计：训练仅需微调前缀 tokens，训练时间缩短至数分钟，支持零样本部署，解决了现有方法计算开销大的问题。
4. 安全-推理平衡：通过分离安全触发训练与推理保留训练，打破了"安全对齐必然牺牲推理性能"的 t