a Systematic Review of Open Datasets for Evaluating and Improving Large Language Model Safety

本文是LLM系列文章，针对《SafetyPrompts: a Systematic Review of Open Datasets for
Evaluating and Improving Large Language Model Safety》的翻译。

摘要

在过去的两年里，人们对大型语言模型（LLM）安全性的担忧迅速增长。研究人员和从业者通过引入大量新的数据集来评估和提高LLM安全性，从而解决了这些问题。然而，这项工作的大部分是并行进行的，并且考虑到了非常不同的目标，从缓解偏见和有毒成分产生的短期风险到评估长期灾难性风险的可能性。这使得研究人员和从业者很难为给定的用例找到最相关的数据集，并确定未来工作可能填补的数据集覆盖率差距。为了解决这些问题，我们对开放数据集进行了首次系统审查，以评估和提高LLM的安全性。我们回顾了102个数据集，这些数据集是我们在几个月的时间里通过迭代和社区驱动的过程确定的。我们强调了模式和趋势，例如完全合成数据集的趋势，以及数据集覆盖范围的差距，例如明显缺乏非英语数据集。我们还研究了LLM安全数据集在实践中的使用情况——在LLM发布出版物和流行的LLM基准测试中——发现当前的评估实践非常特殊，只使用了一小部分可用数据集。我们的贡献基于SafetyPrompts.com，这是一个LLM安全开放数据集的动态目录，我们承诺随着LLM安全领域的发展不断更新。

1 引言

2 数据集审查方法

3 数据集审查结果

4 模型发布出版物中使用的开放LLM安全数据集

5 用于流行基准测试的开放LLM安全数据集

6 讨论

7 结论

近年