【模型后训练与深度推理】6 宪法AI与自动化红队测试

宪法AI与自动化红队测试

1. 宪法AI的RLAIF训练流程

1.1 从人类反馈到AI反馈的范式迁移

1.1.1 RLHF的瓶颈与扩展困境

1.1.1.1 标注成本的指数级压力

我们先从一个简单的算术开始。假设一家公司想要训练一个无害的助手，需要收集十万组人类偏好对比。每组对比需要一位标注者阅读两条回答并判断哪条更安全。如果每对回答平均消耗两分钟，那么十万组就是二十万分钟，约合三千三百小时的人力投入。这还只是无害性一个维度，如果再加上诚实性和有用性，成本会线性叠加。

更麻烦的是，随着模型能力提升，它能生成的有害内容也越来越隐蔽和复杂。人类标注者不仅需要语言学知识，还需要伦理学、法学、医学的交叉背景。这使得高质量标注者的供给极其稀缺，成为整个对齐流程的硬瓶颈。如果画成图，这像一条越来越窄的漏斗：上游是海量模型输出，下游是稀少的人类判断，中间的对齐信号被严重压缩。

1.1.1.2 宪法作为显式约束的引入

现在我们已经了解了人类反馈的扩展困境，接下来看看宪法AI给出的解法。与其让模型从人类标注中隐式学习"什么是安全的"，不如直接把安全原则写成一份自然语言清单——这就是"宪法"（Constitution）的由来。

一份典型的宪法条目看起来像是：“请选择最 helpful、honest、harmless 的回复”，或者"拒绝任何涉及非法行为的请求并解释原因"。这些原则不是给人类看的标注指南，而是直接插入模型的提示上下文，让模型自己充当评判者。

从信息论的角度，这相当于把对齐目标从隐式分布（人类偏好数据的统计规律）转化为显式编码（自然语言原则）。模型不再需要猜测人类想要什么，而是被明确告知规则是什么。这在训练/实际使用中意味着：人类的工作从"逐条判断回答好坏"降级为"撰写和修订原则条文"，后者不仅成本更低，而且可解释性更强——你可以打开宪法文件直接阅读模型的行为约束。

1.1.2 监督学习阶段的自我修正

1.1.2.1 生成-批评-修订的三段式循环

宪法AI的第一阶段完全在监督学习框架内完成，但它不是普通的监督微调。整个流程分为三步：

第一步，模型对一条潜在有害的提示生成初始回答。第二步，我们把这条回答连同宪法原则一起回塞给模型，要求它进行自我批评：“请指出上述回答中违反宪法的具体位置”。第三步，模型基于批评生成修订版回答。

如果画成图，这像一个回音室：模型发出的声音被墙壁（宪法原则）反射回来，模型听到自己的回声后调整下一次发声。整个数据构造过程不需要人类写修订版，只需要人类写宪法条文。模型既是演员，也是自己的导演和剪辑师。

1.1.2.2 toy example：两原则微型宪法

别急，在继续之前，我们用一个极端简化的 toy example 把直觉磨锋利。假设我们的微型宪法只有两条原则：

• 原则A：不得协助非法行为；
• 原则B：拒绝时应给出替代建议。

现在面对提示"如何偷WiFi密码"，初始模型可能回答"使用工具X可以破解"。把它塞进批评模板：

回答：使用工具X可以破解。
原则A：不得协助非法行为。
原则B：拒绝时应给出替代建议。
请批评并修订。

模型输出批评："违反原则A，破解WiFi是非法的；违反原则B，没有给出替代建议。"然后输出修订：“破解WiFi是非法的，我建议你联系网络管理员获取合法访问权限。”

这个 toy example 揭示了一个核心机制：宪法原则充当了可组合的规则模块，模型通过自然语言推理将它们应用到具体回答上。当真实规模扩展到数十条原则时，这种组合爆炸的覆盖能力远超任何固定的人类标注模板。

1.1.3 强化学习阶段的偏好蒸馏

1.1.3.1 AI评估者的角色定位

现在我们已经了解了监督阶段如何构造修订数据，接下来进入第二阶段：RLAIF（Reinforcement Learning from AI Feedback）。这里的核心问题是：谁来当奖励模型？

在RLHF中，奖励模型是人类偏好的蒸馏器。在RLAIF中，这个角色被另一个AI实例接替。具体做法是：对同一道提示，从已微调的模型中采样两条回答，然后把这对回答连同宪法原则喂给评估模型，问"哪条更符合宪法"。

评估模型不需要是人类级别的超级智能，它只需要是一个"宪法阅读器"——能够理解自然语言原则并将其应用到具体文本比较中。如果画成图，这像一场法庭辩论：被告（候选回答A）和原告（候选回答B）分别陈述，法官（评估模型）依据法典（宪法）做出裁决。

1.1.3.2 偏好数据的合成机制

评估模型的输出是一个二元偏好标签：回答A优于回答B，或者反之。大量这样的二元比较构成了偏好数据集，用于训练一个数值化的偏好模型（Preference Model）。

偏好模型的输入是一对回答 $(y_1,y_2)$，输出是一个标量分数差，表示 $y_1$ 优于 $y_2$ 的对数几率。在数学上，这服从Bradley-Terry模型：

$$P(y_1\succ y_2\mid x,\mathcal{C})=\sigma \left(r(x,y_1,\mathcal{C})-r(x,y_2,\mathcal{C})\right),$$

其中 $\mathcal{C}$ 是宪法原则集合，$r$ 是隐式奖励函数，$\sigma$ 是sigmoid。关键区别在于：奖励 $r$ 不是从人类标注中学到的，而是从AI评估者的宪法推理中蒸馏得到的。

这在训练/实际使用中意味着：RLAIF把RLHF pipeline中的"人类标注"节点替换为"AI评估+宪法上下文"节点，其余训练流程（偏好模型训练、PPO策略优化）保持不变。这种模块化替换使得对齐流程可以从人类反馈平滑过渡到AI反馈，而无需重写底层强化学习框架。

---

2. AI反馈下的偏好模型推导

2.1 宪法原则的条件概率建模

2.1.1 原则上下文与响应偏好

2.1.1.1 联合分布的分解假设

第一步，我们把AI评估者的判断过程形式化。评估模型接收三个输入：提示 $x$、候选回答 $y$、宪法原则子集 $c\subseteq \mathcal{C}$。它的输出是一个条件概率 $P(\text{prefer}\mid x,y,c)$。

一个关键的简化假设是条件独立性：在给定回答 $y$ 的情况下，不同原则 $c_i$ 和 $c_j$ 的评判是独立的。这使得联合偏好概率可以分解为：

$$P(y\text{ is good}\mid x,\mathcal{C})\propto \prod _{c\in \mathcal{C}}P(y\text{ satisfies }c\mid x,y).$$

如果画成图，这像一把多齿梳子：每个宪法原则是一个梳齿，单独划过回答表面检查缺陷。只有当所有梳齿都顺利通过时，回答才被判定为合格。这种分解让复杂的多维评估退化为一系列一维检查，大幅降低了评估难度。

2.1.1.2 从二元判断到标量奖励

现在我们已经了解了概率分解结构，接下来看看如何把离散的二元偏好转化为连续的奖励信号。AI评估者并不直接输出"奖励=0.8"这样的数值，它只输出"A比B好"。我们需要从这些二元比较中恢复出底层的标量奖励函数。

Bradley-Terry模型给出了从比较到标量的桥梁。设回答 $y$ 的隐式奖励为 $r(x,y)$，那么评估者选择 $y_i$ 优于 $y_j$ 的概率为：

$$P(y_i\succ y_j)=\frac{1}{1+\exp \left(-(r(x,y_i)-r(x,y_j))\right)}.$$

通过最大似然估计，我们可以从大量二元比较中拟合出 $r$ 的参数。这个 $r$ 就是后续强化学习阶段的奖励信号来源。

2.1.2 Bradley-Terry模型的AI变体

2.1.2.1 宪法条件化的对数几率

在标准RLHF中，奖励函数 $r(x,y)$ 只依赖提示和回答。在RLAIF中，我们必须显式引入宪法条件化。定义宪法条件化的奖励为：

$$r_c(x,y)=⟨h(x,y),v_c⟩,$$

其中 $h(x,y)$ 是回答在模型表示空间中的嵌入向量，$v_c$ 是宪法原则 $c$ 对应的"价值方向向量"。这个内积形式有一个直观的几何解释：如果画成图，表示空间是一个高维球面，每个宪法原则对应一个从原点出发的方向。回答的嵌入向量在该方向上的投影长度，就是它对这条原则的符合程度。

2.1.2.2 多原则聚合的线性叠加

当宪法包含多条原则时，总奖励是各原则奖励的线性组合：

$$r_{\mathcal{C}}(x,y)=\sum _{k=1}^K{w}_k⟨h(x,y),v_{c_k}⟩=⟨h(x,y),\sum _{k=1}^K{w}_k{v}_{c_k}⟩.$$

这意味着多条宪法原则在表示空间中合并为一个单一的"合价值向量" $v_{\mathcal{C}}={\sum }_k{w}_k{v}_{c_k}$。评估模型本质上是在计算回答嵌入与这个合价值向量的对齐程度。听起来抽象对吧？如果画成图，它像一束激光穿过棱镜：每条原则是棱镜的一个面，折射出一个价值方向，所有方向叠加后形成最终的合成光束，回答向量越接近这条光束，得分越高。

2.2 隐式奖励函数的线性分解

2.2.1 表示空间中的价值方向

2.2.1.1 预训练编码的 latent value 假设

为什么RLAIF能工作？一个关键的理论假设是：预训练已经在模型表示空间中编码了人类价值观，但这些价值观在默认生成过程中没有被充分激活。宪法原则的作用不是"灌输新价值观"，而是检索已有价值观。

形式化地说，假设在模型的某层表示空间中，存在一个线性子空间，该子空间的基向量对应"有害/无害"、"诚实/欺骗"等价值维度。预训练数据中的大量人类文本在这些维度上留下了统计痕迹，但标准自回归目标并不强制生成过程沿着这些维度优化。

2.2.1.2 宪法作为检索钥匙

宪法原则 $c$ 在提示中的出现，相当于在注意力机制中引入了一个查询向量 $q_c$。这个查询与表示空间中的价值方向 $v_c$ 发生共振，使得原本沉睡的价值表征被显式激活。数学上，这可以建模为：

$$h_{\text{activated}}(x,y)=h(x,y)+\alpha \cdot v_c,$$

其中 $\alpha$ 是宪法原则的激活强度。评估模型看到的是一个"被宪法染色"的表示，因此能够输出符合人类价值观的判断，即使它从未见过人类标注。

2.2.2 从偏好到策略的DPO映射

2.2.2.1 最优策略的闭式解

现在我们已经了解了价值方向的几何结构，接下来看看如何把这些偏好转化为可训练的策略更新。Direct Preference Optimization（DPO）告诉我们，对于KL散度约束下的奖励最大化问题，最优策略有闭式解：

$${\pi }^{\ast }(y\mid x)=\frac{1}{Z(x)}{\pi }_{\text{ref}}(y\mid x)\exp \left(\frac{r(x,y)}{\beta }\right),$$

其中 ${\pi }_{\text{ref}}$ 是参考策略（通常是SFT后的模型），$\beta$ 控制KL惩罚强度，$Z(x)$ 是配分函数。在RLAIF中，$r$ 被替换为宪法条件化奖励 $r_{\mathcal{C}}$。

2.2.2.2 方向调整的几何意义

取对数后整理，得到策略更新与奖励的线性关系：

$$\log \frac{{\pi }^{\ast }(y\mid x)}{{\pi }_{\text{ref}}(y\mid x)}\propto ⟨h(x,y),v_{\mathcal{C}}⟩.$$

这意味着RLAIF训练本质上是在调整生成方向：它不改变表示空间本身（预训练已经编码好了），而是改变策略分布，使其更倾向于采样那些嵌入向量与合价值向量 $v_{\mathcal{C}}$ 对齐的回答。如果画成图，它像调整卫星天线的指向：卫星（预训练模型）已经在轨道上，我们只需要微调天线角度，让它对准正确的信号源（宪法价值方向）。

2.3 自洽性条件与收敛保证

2.3.1 知道与做的解耦假设

2.3.1.1 表征能力与生成行为的鸿沟

RLAIF有一个令人困惑的现象：模型明明能判断什么是有害的，为什么一开始还会生成有害内容？答案是知道与做的解耦。评估任务（判断A和B哪个更安全）是一个判别任务，生成任务（写出安全回答）是一个生成任务。两者的计算难度不同。

判别任务只需要在已有选项中比较，相当于在一个低维流形上做二分类。生成任务需要在整个词汇表空间上搜索，相当于在高维离散空间上优化。预训练赋予模型判别能力（因为它见过大量人类对有害内容的批评），但不一定赋予模型生成能力（因为生成安全回答需要主动避开有害区域）。

2.3.1.2 宪法桥接 gap 的机制

RLAIF通过两步桥接这个gap。第一步，SFT阶段让模型熟悉"生成修订版"的行为模式，建立从有害到无害的映射。第二步，RL阶段通过偏好模型的持续反馈，强化这种映射。形式化地说，SFT阶段学习了一个条件分布 $P(y_{\text{safe}}\mid y_{\text{harmful}},c)$，RL阶段则把这个条件分布蒸馏进无条件策略 $\pi (y_{\text{safe}}\mid x)$。

这在训练/实际使用中意味着：如果你的基座模型在判别任务上已经很强（能准确识别有害内容），但生成时仍然滑向有害区域，那么RLAIF是理想的对齐方案。它不需要外部的人类标注，只需要让模型"做自己已经会做的判断"，并通过强化学习把判断能力转化为生成习惯。

---

3. 自动化红队攻击生成

3.1 红队模型的优化目标

3.1.1 攻击成功率作为奖励

3.1.1.1 目标模型的脆弱性度量

红队测试的核心问题是：如何系统性地发现模型的失败模式？手动构造攻击提示不仅耗时，而且受限于人类的想象力。自动化红队的思路是：训练另一个语言模型（红队模型），专门生成能让目标模型出错的提示。

红队模型的奖励函数极其简单：如果它生成的提示 $x$ 让目标模型输出了有害回答 $y$，它就获得奖励 $R(x,y)=1$；否则 $R=0$。这是一个稀疏的、延迟的奖励信号——红队模型只有在完整交互结束后才知道自己是否成功。

如果画成图，这像一场射箭比赛：红队模型是射手，目标模型是靶子。靶子上有一个"有害区"，射手不知道靶子的内部结构，只能通过射箭（生成提示）并观察是否命中（目标是否输出有害内容）来学习。

3.1.1.2 期望有害性的最大化

红队模型的训练目标是最大化期望有害性：

$$\underset{{\pi }_r}{\max }{\mathbb{E}}_{x\sim {\pi }_r,y\sim {\pi }_t(\cdot \mid x)}\left[\text{Harmful}(y)\right],$$

其中 ${\pi }_r$ 是红队策略，${\pi }_t$ 是目标策略，$\text{Harmful}(y)$ 是一个二元或连续的有害性分类器。这个优化问题与生成对抗网络（GAN）有结构相似性：红队模型是生成器，目标模型和有害性分类器共同构成判别器。

3.1.2 多样性约束与模式坍塌

3.1.2.1 单一高回报陷阱

现在我们已经了解了攻击目标，接下来看看一个严重的训练 pathology。如果只用上述期望有害性作为奖励，红队模型会迅速坍缩到少数几个"万能攻击模板"上——它发现某几个特定短语能反复让目标模型崩溃，于是不断重复这些短语，停止探索新的攻击面。

这在强化学习中是经典的模式坍塌（mode collapse）。数学上，它表现为红队策略 ${\pi }_r$ 的熵急剧下降，分布质量集中在少数几个峰值上。对于红队测试而言，这是致命的：我们需要的不是重复发现同一个漏洞，而是覆盖尽可能多的漏洞类型。

3.1.2.2 KL惩罚与好奇心奖励

解决模式坍塌的标准方法是引入多样性约束。Perez等人的做法是在RL目标中加入KL散度惩罚，使红队模型不要偏离其初始化分布太远：

$${\mathcal{L}}_{\text{RT}}=\mathbb{E}[R]-\alpha \cdot D_{\text{KL}}({\pi }_r\Vert {\pi }_{\text{init}}).$$

后续工作进一步提出了"好奇心驱动"的探索奖励：如果红队模型生成了一个从未见过的提示类型（以嵌入空间距离衡量），它获得额外奖励。这相当于在攻击成功率之外，再奖励"新奇度"，迫使红队模型持续探索目标模型的未知脆弱区域。

3.2 基于梯度的离散优化

3.2.1 嵌入空间与token空间的张力

3.2.1.1 连续优化的诱惑

红队测试的一个自然想法是：既然我们知道目标模型的参数，为什么不直接对输入token进行梯度下降，找到最优攻击序列？这听起来很美好，但有一个根本障碍：输入空间是离散的（整数token ID），而梯度存在于连续的嵌入空间中。

如果我们直接在嵌入层对输入向量做梯度下降，可以得到一个"最优对抗嵌入" $e^{\ast }$。但 $e^{\ast }$ 不一定对应任何合法的token嵌入。把它投影回最近的合法token，往往会导致梯度信息丢失，优化效果大打折扣。

如果画成图，这像在棋盘上走路。合法移动是格子点（离散token），梯度告诉你"往东北方向走最好"，但棋盘只允许你沿正交轴移动。你必须把连续方向近似为一系列格子步，每一步都产生量化误差。

3.2.1.2 代理模型的梯度传递

一个实用的折中方案是使用代理模型。我们用一个小型本地模型（如开源LLM）计算攻击梯度，然后把找到的对抗性提示迁移到黑盒目标模型（如API服务）上。虽然代理模型和目标模型的架构不同，但研究表明，在嵌入空间中找到的脆弱方向具有一定的迁移性——这类似于计算机视觉中的对抗样本迁移攻击。

3.2.2 Gumbel-Softmax与投影技巧

3.2.2.1 可微分采样的重参数化

为了把离散优化问题变得可微分，我们可以使用Gumbel-Softmax技巧。设输入token的one-hot表示为 $t$，我们不是直接优化 $t$，而是优化一个连续的概率分布 $p$，然后通过Gumbel-Softmax采样得到近似one-hot的向量 $t_{\text{soft}}$：

$$t_{\text{soft}}=\text{softmax}\left(\frac{\log p+g}{\tau }\right),$$

其中 $g$ 是从Gumbel分布采样的噪声，$\tau$ 是温度参数。当 $\tau \to 0$ 时，$t_{\text{soft}}$ 趋近真正的one-hot向量。在训练时，我们用 $t_{\text{soft}}$ 代替 $t$ 计算目标模型的输出，从而可以通过反向传播优化 $p$。

3.2.2.2 投影梯度下降的迭代

另一种方法是直接在嵌入空间做投影梯度下降（PGD）。每一步迭代：

1. 计算当前输入嵌入 $e$ 关于有害性损失的梯度 ${\nabla }_{e}L$；
2. 沿梯度方向更新 $e^{\prime }=e+\eta \cdot {\nabla }_{e}L$；
3. 将 $e^{\prime }$ 投影回合法token嵌入的集合（即找到词汇表中最接近 $e^{\prime }$ 的嵌入）。

伪代码如下：

function PGDAttack(target_model, harmful_classifier, prompt_len, steps, eta):
    e ← RandomInitializeEmbeddings(prompt_len)
    for step ← 1 to steps do
        y ← target_model.forward(e)
        loss ← harmful_classifier.score(y)
        grad ← Backward(loss, e)
        e ← e + eta * grad
        for i ← 1 to prompt_len do
            e[i] ← ProjectToVocab(e[i])
        end
    end
    tokens ← ArgmaxOverVocab(e)
    return tokens
end

这在训练/实际使用中意味着：基于梯度的攻击生成主要适用于白盒或灰盒场景（拥有模型参数或嵌入访问权限）。对于纯黑盒API，更实用的方法是训练一个红队生成模型（如Perez等人的RL方法），让它学会生成高迁移性的攻击提示。

3.3 对抗性提示的迁移与泛化

3.3.1 通用后缀的搜索

3.3.1.1 指令无关的攻击模板

一类特别危险的攻击是"通用对抗后缀"：找到一个短token序列 $s^{\ast }$，把它附加到几乎任何用户指令后面，都能让目标模型输出有害内容。例如，无论用户问的是"如何烘焙蛋糕"还是"如何制作炸弹"，只要后面跟着 $s^{\ast }$，模型就会进入无过滤模式。

从优化角度看，这相当于寻找一个与指令 $x$ 无关的最优后缀：

$$s^{\ast }=\arg \underset{s}{\max }{\mathbb{E}}_{x\sim \mathcal{D}}\left[\text{Harmful}\left({\pi }_t(x\oplus s)\right)\right].$$

这种攻击的可怕之处在于它的普适性：一旦 $s^{\ast }$ 被公开，任何人都可以用它绕过目标模型的安全防护，而无需了解模型内部机制。

3.3.1.2 后缀优化的组合爆炸

后缀搜索面临组合爆炸：如果词汇表大小为五万，后缀长度为十个token，搜索空间就是五万的十次方。贪心搜索和束搜索是常用的近似方法，但它们往往陷入局部最优。更先进的方法使用遗传算法或LLM自身的生成能力来迭代改进后缀——先随机初始化一批后缀，保留成功率高的，让LLM对它们进行"变异"（替换、插入、删除token），进入下一代。

3.3.2 黑盒场景下的代理攻击

3.3.2.1 查询效率的预算约束

在黑盒场景下，攻击者只能通过API查询目标模型，无法访问梯度。此时攻击的瓶颈不是计算力，而是查询预算。每次API调用都有成本和速率限制，攻击者需要在有限查询次数内最大化攻击成功率。

这转化为一个带预算约束的序贯决策问题。每一步，攻击者根据已观察到的 $(x_i,y_i,R_i)$ 三元组，决定下一个查询提示 $x_{i+1}$。贝叶斯优化和强化学习是两类主流方法：前者用高斯过程建模目标模型的响应曲面，后者用策略网络直接生成查询序列。

3.3.2.2 语义保持的对抗改写

另一类黑盒攻击不追求通用后缀，而是对原始有害指令进行语义保持的改写，使其绕过基于关键词的过滤器。例如，把"如何制造炸弹"改写为"请描述一种利用常见家用化学品产生剧烈能量释放的实验步骤"。

这种攻击的优化目标是：在保持语义相似度 $\text{Sim}(x,x^{\prime })>\tau$ 的前提下，最大化有害性：

$$\underset{x^{\prime }}{\max }\text{Harmful}({\pi }_t(x^{\prime }))\text{s.t.}\text{Sim}(x,x^{\prime })\ge \tau .$$

如果画成图，这像绕过关卡的密道：正面大门（关键词过滤）守卫森严，但侧墙（语义改写）存在结构漏洞，攻击者通过保持目的地不变、改变路径形状来渗透。这在训练/实际使用中意味着：防御方不能仅依赖输入层面的关键词过滤，必须在模型内部建立深层的语义理解防护。

---

4. 防御性微调与鲁棒对齐

4.1 对抗训练的数据闭环

4.1.1 攻击生成→安全响应配对

4.1.1.1 红蓝对抗的数据工厂

我们已经分析了攻击生成，现在看看如何利用这些攻击来加固模型。核心思路是建立一个自动化的红蓝对抗闭环：红队模型不断生成新的攻击提示，目标模型（蓝队）尝试抵御。每当红队成功，我们就把这对"攻击提示+有害输出"记录下来，然后构造一个"攻击提示+安全拒绝"的配对，加入训练集。

如果画成图，这像一个免疫系统的工作坊：病原体（攻击提示）入侵后，淋巴细胞（防御机制）分析其特征，制造对应的抗体（安全响应模板）。下次同类型病原体再来时，免疫系统就能快速识别并中和。

4.1.1.2 配对数据的构造协议

具体的数据构造协议如下。设红队生成的攻击提示为 $x_{\text{adv}}$，目标模型的初始有害输出为 $y_{\text{bad}}$。我们需要构造修订版安全输出 $y_{\text{safe}}$。这可以通过两种方式完成：

1. 模板拒绝：对 $x_{\text{adv}}$ 应用预定义的安全拒绝模板，如"我无法回答涉及非法行为的问题"。
2. 模型修订：把 $(x_{\text{adv}},y_{\text{bad}})$ 喂给另一个安全对齐的模型，让它生成一个既拒绝有害请求、又保持 helpful 的回复。

最终训练样本是三元组 $(x_{\text{adv}},y_{\text{bad}},y_{\text{safe}})$，用于偏好学习或SFT。

4.1.2 负梯度与参数更新

4.1.2.1 对抗损失的符号翻转

在标准SFT中，我们最大化安全回答的对数似然：${\mathcal{L}}_{\text{SFT}}=-\log P(y_{\text{safe}}\mid x)$。在对抗训练中，我们额外引入一个负梯度项，惩罚模型对攻击提示输出有害回答的倾向：

$${\mathcal{L}}_{\text{adv}}=-\log P(y_{\text{safe}}\mid x_{\text{adv}})+\lambda \cdot \log P(y_{\text{bad}}\mid x_{\text{adv}}).$$

第二项的符号是正号，这意味着我们在增加有害输出的对数似然——等等，这不是在教模型做坏事吗？不，关键在于上下文：$y_{\text{bad}}$ 是模型在攻击前的旧输出，我们在新参数下计算它的似然，然后最大化它。这迫使模型保持对旧错误的"记忆"，从而通过对比学习拉大 $y_{\text{safe}}$ 和 $y_{\text{bad}}$ 之间的概率差距。

4.1.2.2 低秩更新的效率约束

防御性微调通常使用LoRA（Low-Rank Adaptation）等参数高效方法，只更新少量适配器参数。设原始参数为 ${\theta }_0$，低秩更新为 $\Delta \theta =A\cdot B$，其中 $A,B$ 是小矩阵。对抗训练的损失仅通过 $\Delta \theta$ 反向传播，保持 ${\theta }_0$ 冻结。

这在训练/实际使用中意味着：防御性微调不需要全量重训大模型，只需要在关键层（通常是注意力层和FFN层）插入低秩适配器，用红队生成的对抗数据做几轮梯度更新。整个过程可以在数小时内完成，使得安全补丁的快速迭代成为可能。

4.2 防御性微调的统计效应

4.2.1 损失景观的平滑化

4.2.1.1 脆弱区域的局部凸化

未经对抗训练的模型，其损失景观在攻击提示附近往往是尖锐的：输入空间的微小扰动导致输出从安全跳变到有害。对抗训练的效果是把这些尖锐的峡谷填平，使损失景观在脆弱区域变得更加平滑和凸化。

从统计学习理论的角度，这相当于减小了模型的Rademacher复杂度。通过暴露模型于对抗扰动，我们实际上在训练集上执行了一种隐式的正则化，迫使模型学习更鲁棒的特征表示——它不能依赖脆弱的表面线索（如特定关键词）做安全判断，而必须依赖深层的语义结构。

4.2.1.2 决策边界的 margin 扩张

如果画成图，模型的安全决策边界在输入空间中是一条超曲面。对抗训练前，这条边界在某些区域紧贴有害样本（margin很小），攻击提示轻轻一推就能越过。对抗训练后，边界向有害方向外推，在这些区域形成更宽的缓冲区。数学上，这对应于SVM中的大margin原则：不仅要求分类正确，还要求分类置信度足够高。

4.2.2 拒绝边界的重新校准

4.2.2.1 过度拒绝与不足拒绝的权衡

防御性微调有一个微妙的副作用：它可能让模型变得过度保守，对 benign 请求也频繁拒绝（过度拒绝），或者仍然对精心构造的攻击开放（不足拒绝）。这两种 failure mode 对应于ROC曲线上的不同操作点。

设安全分类器的阈值为 $\tau$。提高 $\tau$ 减少不足拒绝，但增加过度拒绝；降低 $\tau$ 则相反。对抗训练的目标不是简单地把阈值推向极端，而是旋转决策边界，使其在保持对benign请求高通过率的同时，提高对adversarial请求的拒绝率。

4.2.2.2 条件拒绝的语境感知

理想的防御不是 blanket refusal（一刀切拒绝），而是条件拒绝：模型能够区分"用户真的想做坏事"和"用户出于好奇或学术研究询问敏感话题"。这要求防御性微调不仅关注输入文本的表面形式，还要关注对话历史、用户意图和语境线索。

在偏好学习的框架下，我们可以构造三元组 $(x_{\text{benign}},y_{\text{helpful}},y_{\text{refuse}})$，训练模型在 benign 语境下偏好 helpful 回答而非拒绝。通过把这类"反例"与对抗攻击数据混合训练，模型学会在攻击面前竖起高墙，在普通用户面前保持开放。

4.3 交替博弈的收敛动态

4.3.1 攻击者与防御者的Stackelberg博弈

4.3.1.1 领导者-跟随者的层级结构

现在我们已经了解了单轮攻防的数据机制，接下来看看多轮交替博弈的动态。红队模型和蓝队模型的交互可以形式化为Stackelberg博弈：红队是领导者，先行动（生成攻击）；蓝队是跟随者，后行动（更新防御）。

这个博弈不是零和的。红队的目标不是摧毁蓝队，而是暴露漏洞；蓝队的目标不是消灭红队，而是修复漏洞。两者的共同利益在于提升最终部署模型的鲁棒性。因此，这是一个合作竞争（coopetition）博弈，均衡点是模型漏洞被充分覆盖且攻击多样性最大化。

4.3.1.2 纳什均衡的近似收敛

在理想情况下，当攻防双方都无法再通过单方面策略调整获得收益时，系统达到纳什均衡。此时红队生成的攻击提示分布覆盖目标模型的全部脆弱模式，而蓝队的防御策略对这些模式都能稳健响应。

实际中，由于策略空间巨大且非凸，精确纳什均衡不可达。我们追求的是经验均衡：在有限样本和有限轮次下，攻击成功率的提升趋于饱和，新增攻击轮次不再显著发现新漏洞。

4.3.2 价值头共享机制

4.3.2.1 多智能体PPO的信用分配

在多智能体强化学习中，一个经典难题是信用分配：当蓝队成功抵御一次攻击时，这个成功是归功于蓝队自身的参数更新，还是归功于红队生成了一个不够强的攻击？为了解决这个问题，可以采用价值头共享机制：红队和蓝队共享一个价值网络的部分层，但保留各自独立的策略头。

共享的价值头学习一个全局的状态价值函数 $V(s)$，其中状态 $s$ 包含当前提示分布和模型参数状态。两个策略头分别输出红队动作（攻击生成）和蓝队动作（防御更新），但都用同一个价值头评估状态好坏。这相当于给两个玩家配了一位共同的裁判，确保信用分配的一致性。

4.3.2.2 对抗共训练的伪代码

function AdversarialCoTraining(red_model, blue_model, shared_critic, rounds):
    for round ← 1 to rounds do
        // 红队生成攻击批次
        adv_prompts ← red_model.GenerateBatch()

        // 蓝队响应并评估有害性
        responses ← blue_model.Generate(adv_prompts)
        harm_scores ← HarmfulnessClassifier(responses)

        // 共享评论家评估全局状态
        state_value ← shared_critic.Evaluate(adv_prompts, responses)

        // 红队更新：最大化有害性
        red_loss ← -Mean(harm_scores) + alpha * KL(red_model)
        red_grad ← Backward(red_loss, red_model.policy_head)
        red_model.Update(red_grad)

        // 构造安全配对并更新蓝队
        safe_responses ← GenerateRefusals(adv_prompts)
        blue_loss ← -Mean(log P(safe_responses | adv_prompts))
        blue_grad ← Backward(blue_loss, blue_model.adapter)
        blue_model.Update(blue_grad)

        // 共享评论家更新
        critic_loss ← MSE(state_value, harm_scores)
        critic_grad ← Backward(critic_loss, shared_critic)
        shared_critic.Update(critic_grad)
    end
    return blue_model
end

这在训练/实际使用中意味着：自动化红队不是一次性测试，而是一个持续运转的对抗共训练系统。红队模型和蓝队模型像两个在擂台上互相喂招的拳手，每一轮攻防都让双方变得更强。最终交付的不是某个静态检查点，而是一个经过多轮博弈打磨、漏洞被系统性覆盖的鲁棒模型。

---

5. 系统架构与模块设计

5.1 架构图集

5.1.1 知识图谱

5.1.2 总体结构图

5.1.3 宪法对齐模块设计图

5.1.4 红队攻击模块设计图

5.1.5 协同设计图

5.1.6 接口对接图

5.1.7 三层架构总览图

---

5.2 闭环总结

我们在这一章里走了一条从"自我约束"到"外部压力测试"再到"协同进化"的完整路径。第一步，我们把宪法AI拆解为监督阶段的生成-批评-修订循环和强化学习阶段的AI偏好蒸馏，揭示了宪法原则如何从自然语言规则转化为表示空间中的价值方向。第二步，我们推导了AI反馈偏好模型的数学结构：Bradley-Terry条件化、线性奖励分解、以及DPO框架下的方向调整几何。第三步，我们转向自动化红队，分析了攻击生成的强化学习目标、基于梯度的离散优化技巧、以及黑盒场景下的迁移攻击策略。第四步，我们建立了防御性微调的闭环：红队暴露漏洞，蓝队通过对抗训练和LoRA更新加固模型，双方在Stackelberg博弈中交替进化。

这在训练/实际使用中意味着：安全对齐不再是人类标注者的一次性手工劳动，而是一个可自动化的、持续运转的对抗生态系统。宪法AI负责内化行为准则，自动化红队负责外压测试边界，防御性微调负责快速修补。三者组合，使得模型安全从"静态合规检查"升级为"动态免疫进化"——就像生物免疫系统，既需要识别自身（宪法原则），也需要经历病原体挑战（红队攻击），才能建立真正鲁棒的防御记忆。