Improving Large Language Model Safety with Contrastive Representation Learning

论文主要内容与创新点总结

一、主要内容

1. 研究背景与问题
   大语言模型（LLMs）在带来巨大社会影响的同时，易受对抗性攻击（如越狱攻击）生成有害内容。现有防御方法（如电路断路器、RepBend）在跨攻击类型的泛化能力上存在不足，尤其在嵌入空间攻击中效果有限。

2. 核心方法

• 提出基于对比表示学习（CRL） 的防御框架，将模型防御构建为对比学习问题，通过三元组损失（Triplet Loss）分离良性与有害表示。
• 引入对抗硬负挖掘（Adversarial Hard Negative Mining） 策略，通过生成“难负样本”（即与良性表示相似的有害表示）提升防御鲁棒性。
• 损失函数设计：结合三元组损失与KL散度，在保留良性表示的同时，迫使有害表示远离原始有害模式并聚类。

3. 实验验证

• 在Llama 3 8B和Mistral 7B模型上验证，相比现有方法（电路断路器、RepBend），显著降低攻击成功率（ASR）：
  • 嵌入攻击：Llama 3 8B的ASR从29%降至5%。
  • 输入空间攻击（如REINFORCE-GCG）：ASR从14%降至0%。
  </