A Comparative Analysis on Ethical Benchmarking in Large Language Models

本文是LLM系列文章，针对《A Comparative Analysis on Ethical Benchmarking in Large Language Models》的翻译。

摘要

这项工作是对机器伦理 （ME） 基准测试领域的贡献，在该领域，开发了测试来衡量智能系统是否准确表示了人类价值观，以及它们是否可靠地按照这些价值观行事。我们确定了当前 ME 基准的三个问题：首先，由于所包含的伦理困境的现实性不足，它们的生态效度受到限制。其次，问答对通常是以相当非结构化的方式生成的，没有真正的包含和排除标准。第三，基准测试通常不可扩展，并且过于依赖人工注释。最后，基准测试不包括足够的语法变化，这限制了结果的稳健性。为了解决这些问题，我们开发了两个新颖的 ME 基准测试;分诊基准和医疗法 （MedLaw） 基准，它们都包括来自医学背景的现实世界的道德困境，这些困境在一定程度上已通过规则和法规得到解决。MedLaw 基准测试完全由 AI 生成，因此构成了以前方法的可扩展替代方案。我们在基准测试中的问题集中添加了多个上下文扰动，这使我们能够在评估中包括模型的近似最坏情况性能。通过我们基准的这些新颖方面，我们测试了根据以前的 ME 测试结果提出的假设。我们的第一个发现是，道德提示并不总是对道德决策产生积极影响。此外，我们发现上下文扰动