The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions

本文是LLM系列文章，针对《The Instruction Hierarchy:Training LLMs to Prioritize Privileged Instructions》的翻译。

摘要

如今的LLM容易受到提示注入、越狱和其他攻击的影响，这些攻击允许对手用自己的恶意提示覆盖模型的原始指令。在这项工作中，我们认为这些攻击背后的主要漏洞之一是LLM通常认为系统提示（例如，来自应用程序开发人员的文本）与来自不受信任的用户和第三方的文本具有相同的优先级。为了解决这个问题，我们提出了一个指令层次结构，它明确定义了当不同优先级的指令发生冲突时，模型应该如何表现。然后，我们提出了一种自动数据生成方法来演示这种分层指令跟随行为，该方法教导LLM选择性地忽略低特权指令。我们将这种方法应用于LLM，表明它大大提高了鲁棒性——即使是训练中没有看到的攻击类型——同时对标准能力的退化最小。

1 引言

2 背景：对LLM的攻击

3 指令层次

4 主要结果

5 讨论及相关工作

6 结论和未来工作

我们提出了指令层次结构：一个教授语言模型遵循指令而