Mitigating Exaggerated Safety in Large Language Models

本文是LLM系列文章，针对《Mitigating Exaggerated Safety in Large Language Models》的翻译。

摘要

随着大型语言模型 (LLM) 的普及，将模型安全性与实用性相结合变得越来越重要。面临的挑战是确保LLM能够识别并拒绝危险的提示，而不牺牲他们提供帮助的能力。 “夸大安全”的问题表明这有多么困难。为了减少过度的安全行为（发现有 26.1% 的安全提示被错误分类为危险并被拒绝），我们结合使用 XSTest 数据集提示以及交互式、上下文和少量提示来检查 LLM 的决策范围例如 Llama2、Gemma、Command R+ 和 Phi-3。我们发现少量提示最适合 Llama2，交互式提示最适合 Gemma，上下文提示最适合 Command R+ 和 Phi-3。通过结合使用这些提示策略，我们能够将所有LLM的夸大安全行为总体减少 92.9%。我们的工作提出了多种提示策略来越狱LLM的决策过程，使他们能够在拒绝不安全的提示和保持帮助之间找到一条严格的界限。

1 引言

2 相关工作

3 方法

4 评估

5 结果

6 讨论

7 结论

总之，我们的研究解决了在日益流行的大型语言模型（LLM）领域中平衡模型安全性和实用性的迫切需要。随着“夸大安全”的出现成为一项重大挑战，其中很大一部分安全提示被错误分类为危险并被拒绝，我们的研究提供了一种综合方法来减轻此类行为。通过利用 XSTest 数据集提示与交互式、上下文和