Chinese SafetyQA: A Safety Short-form Factuality Benchmark for Large Language Models

本文是LLM系列文章，针对《Chinese SafetyQA: A Safety Short-form Factuality Benchmark for Large Language Models》的翻译。

摘要

随着大型语言模型（LLMs）的快速发展，出现了重大的安全问题。从根本上说，大型语言模型的安全性与它们对安全知识的理解的准确性、全面性和清晰度密切相关，特别是在法律、政策和伦理等领域。这种真实性能力对于确定这些模型是否可以在特定地区安全、合规地部署和应用至关重要。为了应对这些挑战并更好地评估LLM回答简短问题的真实性能力，我们引入了中国安全QA基准。中国安全QA具有几个属性（即中国、多样、高质量、静态、易于评估、安全相关、无害）。基于中国安全质量保证，我们对现有LLM的真实性能力进行了全面评估，并分析了这些能力与LLM能力的关系，例如RAG能力和对攻击的鲁棒性。

1 引言

2 中文安全问答

3 实验验证

4 相关工作

5 结论

本文中，我们提出了中文安全质量保证，这是中文安全领域的第一个简明事实性基准。该基准涵盖了特定于中文环境的各种安全领域知识（如法律、政策和道德），这对于确保LLM在中文的安全和合规部署至关重要。我们的中文安全QA具有几个独特的特点（例如，具有挑战性、多样性），为用户提供了一种经济高效的方法来评估其LLM安全知识的界限。此外，我们使用中文安全质量保证对30多个