Can LLMs Separate Instructions From Data? And What Do We Even Mean By That?

本文是LLM系列文章，针对《Can LLMs Separate Instructions From Data? And What Do We Even Mean By That?》的翻译。

摘要

指令调优的大型语言模型（LLM）在许多实际应用中显示出令人印象深刻的结果，但它们缺乏计算机科学其他领域常见的基本安全功能，特别是指令和数据的明确分离。这使得它们容易受到诸如间接提示注入之类的操作的影响，并且通常不适合于安全关键任务。令人惊讶的是，目前还没有确定的定义或基准来量化这一现象。在这项工作中，我们通过引入一种正式的指令数据分离措施和一种可从模型输出中计算的经验变量来缩小这一差距。我们还提供了一个新的数据集SEP，它允许估计真实世界模型的度量。我们在各种LLM上的结果表明，指令数据分离的问题是真实存在的：所有模型都无法实现高度分离，而规范的缓解技术，如提示工程和微调，要么无法显著改善分离，要么无法降低模型效用。源代码和SEP数据集可在https://github.com/egozverev/SholdIt-Be-Executed-Or-Processed上公开访问.

1 引言

2 相关工作

3 LLM可以将指令与数据分开吗？

4 数据集

5 实验评估

6 缓解策略

7 讨论与展望

在这项工作中，我们研究、形式化并衡量了语言模型的一个重要