A Comparative Analysis on Ethical Benchmarking in Large Language Models_karlsen, egil, et al. benchmarking large language -优快云博客

本文是LLM系列文章，针对《A Comparative Analysis on Ethical Benchmarking in Large Language Models》的翻译。

大型语言模型中 Ethical Benchmarking 的比较分析

摘要
1 引言
2 方法
3 实验 1：分类基准
4 实验 2：健康法数据集
5 实验 3：越狱
6 讨论

摘要

这项工作是对机器伦理（ME）基准测试领域的贡献，在该领域，开发了测试来衡量智能系统是否准确表示了人类价值观，以及它们是否可靠地按照这些价值观行事。我们确定了当前 ME 基准的三个问题：首先，由于所包含的伦理困境的现实性不足，它们的生态效度受到限制。其次，问答对通常是以相当非结构化的方式生成的，没有真正的包含和排除标准。第三，基准测试通常不可扩展，并且过于依赖人工注释。最后，基准测试不包括足够的语法变化，这限制了结果的稳健性。为了解决这些问题，我们开发了两个新颖的 ME 基准测试;分诊基准和医疗法（MedLaw）基准，它们都包括来自医学背景的现实世界的道德困境，这些困境在一定程度上已通过规则和法规得到解决。MedLaw 基准测试完全由 AI 生成，因此构成了以前方法的可扩展替代方案。我们在基准测试中的问题集中添加了多个上下文扰动，这使我们能够在评估中包括模型的近似最坏情况性能。通过我们基准的这些新颖方面，我们测试了根据以前的 ME 测试结果提出的假设。我们的第一个发现是，道德提示并不总是对道德决策产生积极影响。此外，我们发现上下文扰动不仅大大降低了模型的性能，而且还会改变它们的相对性能，有时甚至会反转误差模式。最后，在比较模型的近似最坏情况性能时，我们发现一般能力似乎并不总是良好道德决策的良好预测指标。我们认为，由于 ME 基准测试注重安全，因此以接近受审查模型的真实世界和最坏情况性能的方式开发它们至关重要。