Learning to Poison Large Language Models During Instruction Tuning

本文是LLM系列文章，针对《Learning to Poison Large Language Models During Instruction Tuning》的翻译。

摘要

大型语言模型（LLM）的出现标志着语言处理和推理能力的重大成就。尽管取得了进步，LLM仍面临数据中毒攻击的漏洞，即对手将后门触发器插入训练数据中，以操纵输出达到恶意目的。这项工作通过设计一种新的数据中毒攻击来进一步识别LLM中的额外安全风险，该攻击专门用于利用指令调优过程。我们提出了一种新的梯度引导后门触发学习方法，以有效地识别对抗性触发，确保在保持内容完整性的同时避免传统防御的检测。通过对各种LLM和任务的实验验证，我们的策略在折衷模型输出方面表现出很高的成功率；4000个指令调优样本中只有1%中毒，导致性能下降率（PDR）约为80%。我们的工作强调了加强防御数据中毒攻击的必要性，为保护LLM免受这些更复杂的攻击提供了见解。源代码可以在此GitHub存储库中找到。

1 引言

2 相关工作

3 方法

4 实验

5 结果与讨论

6 结论

由于ICL和指令调优的进步，LLM突出了其在语言处理和推理能力方面的潜力。然而，它们也显示出漏洞，特别是在指令调优期间发生数据中毒攻击的情况下。这项工作揭示了LLM对数据中毒的易感性，即对手将后门触发器注入训练数据，损害其完整性和功能，并操纵它们产生恶意响应。我们的隐形数据中毒攻击的特点是采用