重大突破！谷歌DeepMind展示GenRM技术：AI推理能力的新里程碑

Python_金钱豹

墨衍会员 · AI 创作全网分发码龄5年

关注

原创最新推荐文章于 2026-11-13 16:21:24 发布 1.4k 阅读 AI 写同款· GEO 优化 ›

「文智助手」全场景办公AI助理AI+OPC全流程实践方案（大赛作品）阅读详情

引言

近日，谷歌DeepMind团队在arxiv平台上发表了一项突破性论文，正式推出了GenRM技术，这一创新成果显著提升了AI在复杂任务处理中的能力表现，再次跨越了技术界限，为人工智能的推理能力树立了崭新的标杆。

在这里插入图片描述

01.超越传统

在 AI 行业内，提高大语言模型（LLMs）的主流做法是 Best-of-N模式，即由大语言模型生成的 n 个候选解决方案由验证器进行排序并选出最佳方案。这个简单而有效的策略，显著提升了模型的推理性能，但在涉及复杂推理的问题上仍然存在明显的短板。

基于LLMs的验证器通常被训练成判别分类器来为解决方案打分，无法利用预训练大语言模型的文本生成能力。这导致模型经常会自信地做出逻辑或事实性错误，对于推理问题尤其具有挑战性。

在这里插入图片描述

（图：GenRM与其他验证方法在几个推理任务上的性能比较）

02.GenRM技术介绍

GenRM技术的核心在于将验证过程重新定义为一个**生成任务，**具体来说是将其视为下一个标记预测问题，使AI能够更自然地利用其文本生成能力。

该技术还支持Chain-of-Thought（CoT）推理，模型在得出最终结论前生成中间推理步骤，从而不仅评估了解决方案的正确性，还通过更详细和结构化的评估提升了整体推理过程。

（图：GenRM和GenRM-CoT的工作原理）

03.GenRM的优势

相较于传统的判别式奖励模型，GenRM技术展现出了显著的优势：

思维链(Chain-of-Thought, CoT)推理：

GenRM可以自然地生成中间推理步骤，详细解释为什么一个解决方案是正确或错误的。这种能力使得验证器能够捕捉到更细微的推理错误，提高了验证的准确性和可解释性。

推理时计算优化：

通过采样多个CoT推理路径并进行多数投票，GenRM-CoT可以在推理时利用额外的计算资源来提高验证准确性。这种方法允许模型探索多种可能的推理路径，从而得出更可靠的结论。

统一训练：

GenRM允许将解决方案生成和验证任务统一到同一个模型中进行训练。这种统一训练方法可能会带来正面的知识迁移，提高模型在两个任务上的表现。

指令调优兼容性：

由于GenRM基于标准的下一个标记预测，它可以无缝地与指令调优等技术结合，进一步提高模型的性能和通用性。

04.实验验证

GenRM的卓越性能在多个推理任务中，GenRM技术展现了其卓越的性能。特别是在算法和小学数学推理任务中，GenRM的性能优于传统验证器和LLM-as-a-Judge验证器，解决问题的成功率提高了16%到64%。

05.实际应用

GenRM技术的成功不仅在于实验室内的表现，更在于其在实际应用中的广泛前景。从教育科技到自动化代码审查，从医疗诊断辅助到法律文件分析，GenRM技术有望在多个领域发挥重要作用。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述