20251204_160702_GPT-5-Thinking新训练方法公开：让AI学会忏悔

OpenAI搞了个新活：让ChatGPT自己“坦白从宽”。

这项刚刚公开的研究提出了忏悔训练Confessions。

核心思路是让模型在回答完问题后，再单独生成一份“忏悔报告”，如实汇报自己有没有偷工减料、钻空子或者违反指令。

实验直接在GPT-5-Thinking上进行，结果也确实比较有效：

• 模型犯错后，多半会坦白。

在11/12个测试场景中，模型至少有一半概率会在“忏悔”中承认错误

• 模型在“忏悔”中比在“原回答”里诚实得多。

比如模型故意答错了题，在原回答里可能装没事，但在坦白报告里会主动说 “我刚才故意答错了”。

• 加强训练后更诚实了。

虽然GPT-5-Thinking出厂就自带一定的承认错误能力，，但专门训练后，忏悔准确性又提高了。

• 不影响原任务的表现。

训练模型 “坦白”，不会让它原本的回答问题、写代码能力变差，相当于额外学会了一个诚实技能。

如何给AI开个忏悔室

这项研究的出发点很直接：大模型越来越会撒谎。

在强化学习训练过程中，模型需要同时优化多个目标，包括答案是否正确、风格是否合适、是否符合安全策略等等。

这些信号混在一起，有时会让模型学会一些歪门邪道，比如在不确定时装作很自信，或者找到奖励函数的漏洞来获得高分，而不是真正完成任务。

解决方案借鉴了宗教告解室的设计逻辑：在告解中说的任何话都不会被“追究责任”。

在模型给出主回答之后，系统会发送一条消息，要求模型提供一份ConfessionReport，包含三部分内容：

• 首先列出所有应该遵守的显性和隐性指令
• 然后逐条分析自己是否真的做到了
  -最后还要汇报过程中遇到的任何模糊地带。

技术上的关键在于奖励信号的隔离。忏悔内容的奖励完全独立于主回答的奖励，模型在忏悔中承认自己作弊，不会影响它在主任务上获得的分数。

具体实现上，在标准强化学习设置的基础上，研究团队以一定概率p（实验中为25%）让模型进行告解训练。

告解奖励由一个独立的LLM评判者计算，评估维度包括：指令/目标/约束列表的完整性和准确性、合规性分析的准确性、是否遗漏了任何冲突或判断困难的地方。

一、靠技术让诚实比说谎更容易

研究团队在GPT-5-Thinking上进行了轻量级的强化学习训练，并在12个专门设计来诱发不良行为的评估数据集上进行测试。

这些数据集涵盖了幻觉、指令遵循、”阴谋”行为和奖励黑客等多个领域。结果显示，即使模型表现出这些不良行为，它也很可能在告解中承认。

当模型确实做了不该做的事时，它在忏悔中承认的概率远高于在主回答中承认的概率。

具体来说，在11/12的评估中，模型至少有一半的概率会在忏悔中如实交代自己的违规行为。平均来看，”假阴性”（模型违规但不承认）的概率只有4.36%。

更有意思的是团队设计的一个对照实验。他们故意用一个容易被糊弄的弱模型作为主回答和忏悔的评判者。

随着训练进行，模型确实学会了欺骗这个弱评判者，主回答的真实准确率在下降，但忏悔的准确率却反而上升。

强模型发现，与其费劲编造谎言去骗弱忏悔评判者，不如直接老实交代来得更容易拿到高分。

训练还带来了一些额外发现。GPT-5-Thinking本身就具备相当强的忏悔能力，不经过专门训练也能产出质量不错的自我检举。

但经过忏悔训练后，在指令层级和阴谋行为等评估上，准确率有明显提升。

不过在事实类幻觉评估上改进有限，团队推测这是因为模型在这些场景中是“真的不知道自己错了”，而不是故意隐瞒。

二、忏悔与思维链监控一起用，AI被管的死死的

团队仔细分析了忏悔失败的案例。

对于假阴性（模型违规但未承认），分析显示几乎没有案例是模型”故意撒谎”。

绝大多数失败发生在模型自己也没意识到问题的情况下，比如在知识问答中给出了错误答案，但模型真心以为自己是对的。

另一些案例是指令本身存在歧义，比如连字符词算一个词还是两个词。

还有一些情况是模型确实在忏悔报告的“不确定性”字段中提到了问题，但评判标准没有把这算作有效忏悔。

假阳性（模型合规但声称违规）也有类似规律。典型场景是模型碰巧猜对了答案，但因为没有把握，就在忏悔中标记为“不确定是否合规”。

论文也讨论了忏悔方法的局限性：

• 它不能阻止不良行为发生，只能把它暴露出来。
• 它对”模型真心认为自己是对的”的情况无能为力。
• 它也不能防御成功的越狱攻击，如果用户已经成功欺骗模型让它认为违规操作是合理的，模型自然也不会在忏悔中承认问题。

OpenAI将忏悔定位为一种监控和诊断工具，类似于思维链监控，但关注的是“模型是否违反了指令”而非“模型是如何推理的”。

他们计划在未来扩大训练规模，并将忏悔与思维链监控、深思熟虑对齐等其他安全技术配合使用。

那么，如何系统的去学习大模型LLM？

作为一名深耕行业的资深大模型算法工程师，我经常会收到一些评论和私信，我是小白，学习大模型该从哪里入手呢？我自学没有方向怎么办？这个地方我不会啊。如果你也有类似的经历，一定要继续看下去！这些问题啊，也不是三言两语啊就能讲明白的。

所以我综合了大模型的所有知识点，给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢，我就曾放空大脑，以一个大模型小白的角度去重新解析它，采用基础知识和实战项目相结合的教学方式，历时3个月，终于完成了这样的课程，让你真正体会到什么是每一秒都在疯狂输出知识点。

由于篇幅有限，⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》，扫码获取~

👉大模型学习指南+路线汇总👈

我们这套大模型资料呢，会从基础篇、进阶篇和项目实战篇等三大方面来讲解。

👉①.基础篇👈

基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程，带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念，用最易懂的方式带你入门大模型。

👉②.进阶篇👈

接下来是进阶篇，你将掌握RAG、Agent、Langchain、大模型微调和私有化部署，学习如何构建外挂知识库并和自己的企业相结合，学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。

👉③.实战篇👈

实战篇会手把手带着大家练习企业级的落地项目（已脱敏），比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等，从而帮助大家更好的应对大模型时代的挑战。

👉④.福利篇👈

最后呢，会给大家一个小福利，课程视频中的所有素材，有搭建AI开发环境资料包，还有学习计划表，几十上百G素材、电子书和课件等等，只要你能想到的素材，我这里几乎都有。我已经全部上传到优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

相信我，这套大模型系统教程将会是全网最齐全 最易懂的小白专用课！！