Trustworthy LLMs: a Survey and Guideline for Evaluating Large Language Models‘ Alignment

本文是大模型领域相关文章，针对《Trustworthy LLMs: a Survey and Guideline for Evaluating Large Language Models’ Alignment》的翻译。

摘要

在将大型语言模型（LLM）部署到现实世界的应用程序中之前，确保一致性（即使模型的行为符合人类意图已成为一项关键任务。例如，OpenAI在GPT-4发布前花了六个月的时间对其进行迭代校准。然而，从业者面临的一个主要挑战是，在评估LLM输出是否符合社会规范、价值观和法规方面缺乏明确的指导。这种障碍阻碍了LLM的系统迭代和部署。为了解决这个问题，本文对评估LLM可信度时至关重要的关键维度进行了全面综述。该综述涵盖LLM可信度的七个主要类别：可靠性、安全性、公平性、抗滥用性、可解释性和推理性、遵守社会规范和稳健性。每个主要类别进一步划分为几个子类别，共有29个子类别。此外，还选择了8个子类别的子集进行进一步调查，设计并对几种广泛使用的LLM进行了相应的测量研究。测量结果表明，一般来说，更一致的模型往往在整体可信度方面表现更好。然而，在所考虑的不同可信度类别中，一致性的有效性各不相同。这突出了进行更细粒度的分析、测试和不断改进LLM对齐的重要性。通过阐明LLM可信度的这些关键维度，本文旨在为该领域的从业者提供有价值的见解和指导。理解和解决这些问题对于在各种应用中实现LLM的可靠和合乎道德的部署至关重要。

1 引言

2 背景

3 分类概述

4 可靠性

5 安全性

6 公平性

7 抗滥用性