【论文阅读】How Alignment and Jailbreak Work: Explain LLM Safety through Intermediate Hidden States

发表：arxiv 2024.7

作者：Zhenhong Zhou1, Haiyang Yu1, Xinghua Zhang1, Rongwu Xu2, Fei Huang1, Yongbin Li1,*

1Alibaba Group, 2Tsinghua University

摘要

大型语言模型 (LLM) 依靠安全对齐来避免响应恶意用户输入。不幸的是，越狱可能会绕过安全护栏，导致LLM产生有害内容并引起人们对LLM安全的担忧。由于具有密集参数的语言模型通常被视为黑匣子，因此对齐和越狱的机制很难阐明。在本文中，我们采用弱分类器通过中间隐藏状态来解释 LLM 安全性。我们首先确认LLM在预训练期间学习道德概念而不是对齐，并且可以识别早期层中的恶意和正常输入。对齐实际上将早期概念与中间层的情感猜测相关联，然后将其细化为安全生成的特定拒绝标记。越狱扰乱了早期不道德分类向负面情绪的转变。我们对不同模型系列的 7B 到 70B 模型进行了实验，以证明我们的结论。总体而言，我们的论文揭示了 LLM 安全的内在机制以及越狱如何规避安全护栏，为 LLM 安全提供了新的视角并减少了担忧。我们的代码可在 https://github.com/ydyjya/LLMIHS-Explanation 获取。

方法

作者使用种子数据集获取模型中间层的参数，将中间层的参数作为训练数据，训练SVM和MLP弱分类器，作者发现通过前几层的数据训练的弱分类器能够很好的识别隐藏层的状态

作者设定了一个置信度指标，用于评估模型隐藏层对不同输入数据的相似性和频率分析

作者发现模型在早期层生成预训练产生的道德观念，与中间层产生的情感标记进行结合，生成拒绝响应

是预训练和对齐保证了模型的安全回答

作者通过LogitGrafting逻辑嫁接的方式，破坏中间层与早期层的连接，替换中间层的情感token，使得模型更容易输出积极的情绪，也就使得模型进入越狱模式

当积极情绪完全主导中间层时，模型才会输出有害内容