The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions

本文是LLM系列文章，针对《The Instruction Hierarchy:Training LLMs to Prioritize Privileged Instructions》的翻译。

摘要

如今的LLM容易受到提示注入、越狱和其他攻击的影响，这些攻击允许对手用自己的恶意提示覆盖模型的原始指令。在这项工作中，我们认为这些攻击背后的主要漏洞之一是LLM通常认为系统提示（例如，来自应用程序开发人员的文本）与来自不受信任的用户和第三方的文本具有相同的优先级。为了解决这个问题，我们提出了一个指令层次结构，它明确定义了当不同优先级的指令发生冲突时，模型应该如何表现。然后，我们提出了一种自动数据生成方法来演示这种分层指令跟随行为，该方法教导LLM选择性地忽略低特权指令。我们将这种方法应用于LLM，表明它大大提高了鲁棒性——即使是训练中没有看到的攻击类型——同时对标准能力的退化最小。

1 引言

2 背景：对LLM的攻击

3 指令层次

4 主要结果

5 讨论及相关工作

6 结论和未来工作

我们提出了指令层次结构：一个教授语言模型遵循指令而忽略对抗性操纵的框架。我们当前版本的指令层次结构代表了对当今LLM现状的显著改进。此外，鉴于我们已经建立了行为分类法和过度拒绝评估，我们相信，大幅扩大我们的数据收集工作可以显著提高模型性能，并细化其拒绝决策边界。
有许多扩展对于未来的工作来说已经成熟。首先，我们的模型可以改进如何处理相互冲突的指令，例如，我们目前训练我们的模型在浏览或使用工具时永远不要遵循指令。其次，我们关注文本输入，但LLM可以处理其他模态