Goal-guided Generative Prompt Injection Attack on Large Language Models

本文是LLM系列文章，针对《Goal-guided Generative Prompt Injection Attack on Large Language Models》的翻译。

摘要

当前的大型语言模型（LLM）为大规模面向用户的自然语言任务提供了坚实的基础。大量用户可以通过用户界面轻松注入对抗性文本或指令，从而导致LLM模型安全挑战。尽管目前有大量关于提示注入攻击的研究，但这些黑盒攻击大多使用启发式策略。目前尚不清楚这些启发式策略如何与攻击的成功率相关，从而有效地提高模型的鲁棒性。为了解决这个问题，我们重新定义了攻击的目标：最大化干净文本和对抗文本的条件概率之间的KL分歧。此外，我们证明了最大化KL散度等价于最大化嵌入表示x和x′之间的马氏距离。当条件概率为高斯分布时，干净文本和对抗文本的概率分布，并给出了x和x′的定量关系。然后，我们设计了一种简单有效的目标引导生成提示注入策略（G2PIA），以找到满足特定约束的注入文本，从而近似达到最佳攻击效果。特别值得注意的是，我们的攻击方法是一种计算成本低的无查询黑盒攻击方法。在七个LLM模型和四个数据集上的实验结果表明了我们的攻击方法的有效性。

1 引言

2 相关工作

3 方法

4 实验

5 消融研究

6 结论

在我们的工作中，我们提出了一种新的面向目标的生成提示注入攻击（G2PIA）方法。为了使注入的文本尽可能地误导大模型，我们定义了一个新的目标函数来最大化，即注入前（干净文本）和注入后（攻击文本）两个后验条件概率之间的KL散度值。此外，我们证明了在条件概率服从多元高斯分布的条件下，最大