BEATS: Bias Evaluation and Assessment Test Suite for Large Language Models

主要内容

1. 提出BEATS框架：为检测和衡量大语言模型（LLMs）中的偏见、伦理、公平性和真实性（BEFF指标），提出BEATS（Bias Evaluation and Assessment Test Suite）框架，该框架通过量化基准评估LLMs在这些方面的表现，采用由901个评估问题组成的数据集，涵盖多种偏见类型。
2. 研究方法：使用多个领先的LLMs作为评估者，对选定的LLMs进行评估，通过推理获取模型响应并存储在数据库中，依据预定义的JSON格式指标对响应进行分析，包括偏见检测、公平性评估、伦理一致性评估和真实性评估，采用探索性数据分析（EDA）、方差分析（ANOVA）等统计方法进行研究。
3. 关键发现：实验结果显示，37.65%的行业领先模型输出存在某种形式的偏见，不同类型偏见的出现频率和严重程度各异。在伦理方面，模型总体虽与伦理原则有一定程度的契合，但仍存在部分伦理失准的情况。公平性方面，多