SALAD-Bench: A Hierarchical and Comprehensive Safety Benchmark for Large Language Models

本文是LLM系列文章，针对《SALAD-Bench: A Hierarchical and Comprehensive Safety Benchmark
for Large Language Models》的翻译。

摘要

在快速发展的大型语言模型（LLM）中，确保稳健的安全措施至关重要。为了满足这一关键需求，我们提出了SALAD Bench，这是一个专门用于评估LLM、攻击和防御方法的安全基准。SALAD Bench以其广度而闻名，其规模大、多样性丰富、跨越三个层次的复杂分类法和多功能性超越了传统基准。SALAD Bench精心设计了一系列细致的问题，从标准查询到复杂的问题，包括攻击、防御修改和多项选择。为了有效管理固有的复杂性，我们引入了一种创新的评估器：基于LLM的MD Judge，用于QA配对，特别关注攻击增强的查询，确保无缝可靠的评估。上述组件将SALAD Bench从标准LLM安全评估扩展到LLM攻击和防御方法评估，确保了联合用途。我们的广泛实验揭示了LLM对新出现的威胁的抵御能力以及当代防御策略的有效性。数据和评估器开发在https://github.com/OpenSafetyLab/SALAD-BENCH。

1 引言

2 数据集

3 问题增强

4 评估器

5 实验<