大模型到底在对齐什么？为什么需要对齐

感觉大模型出来以后，各种名词层出不穷，有时候真让人感到困惑。就拿“对齐”这个词来说吧，什么叫对齐？为什么要对齐？跟谁对齐？要对齐什么？怎么对齐？夺命五连问。以下内容是我自己基于一些公认的说法理解整理的，供参考。

1. 什么是对齐？为什么要对齐？跟谁对齐？

大模型对齐指的是将大模型的行为规范与人类群体的价值观、意图及场景规范保持一致的过程。

本质是在模型能力与人类期望之间建立可靠映射。

所以，是大模型是在跟人类的一些“偏好”对齐。为什么需要对齐？显而易见，刚训练出来的大模型落地解决问题的时候不符合人类预期，所以需要对齐。

2. 怎么对齐？这很重要

        上面提到的三种对齐维度：价值观、意图、场景。概况了所有大模型使用时候可能会遇到的问题（总结这个的人真的很厉害）。其中价值观的对齐是我们经常说到的与大模型安全相关的对齐，是大模型发布前最重要的内容，来防止大模型被诱导生成有害内容。意图对齐是用于发现用户的潜在需求的，这个能力对于通用大模型来说非常重要，直接体现了是不是“智能”。最后和场景方面的对齐一般是与具体应用场景有关的，广义上应该包含大模型在垂直领域的应用。

        说到这里我们其实就明白该如何实现对齐了，本质上就是根据具体应用场景和目标进行知识注入。就是我们经常会用到的那些SFT、高效微调、提示词工程、RAG、DPO、PPO、RLHF、GRPO。本质上都是来做对齐用的，只不过我们在落地的时候，很少这么学究式的叫（这是我自己的想法，仅供参考，可能不严谨）。简单总结一下：

维度	对齐内