Boosting the Safety of Instruction-Tuned Large Language Models with Reverse Prompt Contrastive

本文是LLM系列文章，针对《ROSE Doesn’t Do That: Boosting the Safety of Instruction-Tuned Large Language Models with Reverse Prompt Contrastive Decoding》的翻译。

摘要

随着指令调优大型语言模型（LLM）的发展，提高LLM的安全性变得更加重要。然而，当前将LLM输出与预期安全性相一致的方法通常需要大量的训练工作，例如高质量的安全数据和昂贵的计算资源，这是昂贵且低效的。为此，我们提出了反向prOmpt contrasstive dEcoding（ROSE），这是一种简单而有效的方法，可以在没有任何额外训练的情况下直接提高现有指令调整LLM的安全性。ROSE的原理是通过抑制由精心设计的反向提示引起的不希望的输出来提高期望的安全输出的概率。在6个安全任务和2个通用任务上的实验表明，我们的ROSE不仅在5种类型的指令调优LLM上带来了一致且显著的安全改进（高达+13.8%的安全分数），而且有利于LLM的通用能力。深入分析探讨ROSE的潜在机制，并揭示何时何地使用它。

1 引言

2 相关工作

3 方法