GuardReasoner: Towards Reasoning-based LLM Safeguards

本文是LLM系列文章，针对《GuardReasoner: Towards Reasoning-based LLM Safeguards》的翻译。

摘要

随着LLM对安全关键应用的影响越来越大，使用护栏确保其安全仍然是一个关键挑战。本文通过引导保护模型学习推理，提出了一种新的LLM保护机制GuardReasoner。具体来说，我们首先创建GuardReasonerTrain数据集，该数据集由127K个样本和460K个详细的推理步骤组成。然后，我们引入推理SFT来解锁保护模型的推理能力。此外，我们还提出了硬样本DPO，以进一步加强他们的推理能力。通过这种方式，GuardReasoner实现了更好的性能、可解释性和通用性。对3个护栏任务的13个基准点进行了广泛的实验和分析，证明了其优越性。值得注意的是，GuardReasoner 8B的F1成绩平均比GPT-4o+CoT高出5.74%，LLaMA Guard 3 8B高出20.84%。我们发布了GuardReasoner不同尺度（1B、3B、8B）的训练数据、代码和模型。

1 引言

2 相关工作

3 GuardReasoner

4 实验

5 结论

本文介绍了GuardReasoner，这是一种新型的保护模型，可以提高性能、可解释性和泛化能力。我们展示了GuardReasonerTrain数据集、R-SFT和HS-DPO，首先解锁推理能力，然后引导模型学习推理。在3个任务的13个基准测试中，GuardReasoner被证明是有效的。数据、代码和模型被发布。未来的工作旨在尽量减少不必要的推理