Nevermind: Instruction Override and Moderation in Large Language Models

本文是LLM系列文章，针对《Nevermind: Instruction Override and Moderation in Large Language Models》的翻译。

摘要

鉴于最近的大型语言模型（LLM）令人印象深刻的功能，我们研究并基准测试了最流行的专有和不同大小的开源模型，以在冲突的情况下执行显式指令，例如重写。其中包括模型在模型权重范围内覆盖知识的能力，在提示中覆盖（或缓和）提取的知识的能力以及最后执行全面越狱的能力。所进行的实验表明，有几个关键发现可以改善指令遵循——更大的模型在遵循指令方面表现最好，这些指令凌驾于内部和上下文指令之上，并且服从，甚至对错误也是如此。当通过rope缩放扩展到更长的上下文时，需要从困惑悬崖的边缘保持一个重要的缓冲区，以保持指令跟随能力。最后，我们观察到，改进指令遵循，以及随后的指令覆盖/越狱，从根本上与语言模型遵循给定安全过滤器或准则的能力不一致。因此，我们假设，安全、可信的人工智能的最有效方法应该在LLM本身之外处理。

1 引言

2 动机和相关工作

3 方法

4 讨论和结果