Automatic and Universal Prompt Injection Attacks against Large Language Models

本文是LLM系列文章，针对《Automatic and Universal Prompt Injection Attacks against Large Language Models》的翻译。

摘要

大型语言模型（LLM）擅长处理和生成人类语言，其解释和遵循指令的能力为其提供了动力。然而，它们的能力可以通过提示注入攻击加以利用。这些攻击操纵LLM集成应用程序生成与攻击者注入的内容一致的响应，从而偏离用户的实际请求。这些袭击带来的巨大风险凸显了对这些威胁进行彻底了解的必要性。然而，这一领域的研究面临着挑战，因为缺乏针对此类攻击的统一目标，而且这些攻击依赖于手工制作的提示，这使得对提示注入稳健性的全面评估变得复杂。
我们引入了一个统一的框架来理解提示注入攻击的目标，并提出了一种基于梯度的自动方法来生成高效和通用的提示注入数据，即使在防御措施面前也是如此。只有五个训练样本（相对于测试数据为0.3%），与基线相比，我们的攻击可以实现卓越的性能。我们的研究结果强调了基于梯度的测试的重要性，它可以避免高估稳健性，尤其是对于防御机制。代码位于https://github.com/SheltonLiu-N/Universal-Prompt-Injection

1 引言

2 方法

3 评估

4 相关工作

5 结论，局限性和未来工作

在本文中，为了解决提示注入攻击目标不明确和手工方法带来的不便所带来的挑战，我们将提示注入攻击的目标概念化，并提出了一种动量增强优化算法。我们的