Taxonomy-based CHECKLIST for Large Language Model Evaluation

本文是LLM系列文章，针对《Taxonomy-based CHECKLIST for Large Language Model Evaluation》的翻译。

摘要

由于大型语言模型（LLM）已被用于许多下游任务，内部的陈规定型表示可能会影响输出的公平性。在这项工作中，我们将人类知识引入自然语言干预，并在性别偏见的背景下研究预训练的语言模型的行为。受CHECKLIST行为测试的启发，我们提出了一项清单式任务，旨在通过问答（QA）来调查和量化LMs的不道德行为。我们设计了三个比较研究，从一致性、偏向性、模式偏好和性别偏好转换四个方面来评估LMs。我们研究了一个在SQuAD-v2数据集上训练的基于transformer的QA模型和一个自回归大型语言模型。我们的结果表明，基于transformer的QA模型的偏向性与其一致性呈正相关，而LLM则表现出相反的关系。我们提出的任务为LLM偏差评估提供了第一个涉及人类知识的数据集。

引言

实验

结果与分析

结论与未来工作

我们介绍了第一个涉及人类知识分类的框架，用于QA环境中的偏见评估。该框架提供了CHECKLIST设计下基于transformer的模型和LLM之间的模型行为的一般比较。通过添加人类知识分类法，我们的框架能够探索“更深层次”的隐性偏见，并评估逻辑一致性。我们的实验评估了每一类的代表性模型：RoBERTa和GPT3.5-turbo，并发现了关于不同模型行为的有趣发现。
我们提出这项工作基于性别的二元观点。职业分类法可能带有西方特有的结构，可能不适用于其他地区，同样的假设也适用于我们实验中使用的模型。在未来，我们希望看到使用我们的框架对开源LLM进行横向比较。此外，探索模型在探索过程中