顶会评测集解读-AlignBench: 大语言模型中文对齐基准

评测集社区 CompssHub 作为司南 OpenCompass大模型评测体系的重要组成部分，致力于简化并加快研究人员和行业人士搜索和使用评测集的过程。评测集社区 CompssHub 目前已收录了学科、推理、知识、代码等12个方向的评测集，欢迎大家探索。

为了将评测集社区 CompssHub 收录的优秀评测集更好的展现给大家，司南 OpenCompass 特别开展了顶会评测集解读系列，今天我们将解读 ACL 2024 Accepted Papers — AlignBench: Benchmarking Chinese Alignment of Large Language Models.

论文地址：

https://aclanthology.org/2024.acl-long.624.pdf

AlignBench 开源仓库：

https://github.com/THUDM/AlignBench

评测集社区 CompssHub： 

https://hub.opencompass.org.cn/dataset-detail/AlignBench

摘要

在人工智能和自然语言处理领域的飞速发展中，大语言模型（LLMs）展现出令人惊叹的能力。然而，对于新兴的中文 LLMs，其对齐效果的评估仍然是一个亟待探索的领域。为了填补这一空白， AlignBench 应运而生，这是一个全面的、多维度的基准测试，专门用于评估 LLMs 在中文环境下的对齐情况。

AlignBench 的独特之处在于其精心设计的人机协作数据策划流程。它包含了八个主要类别，涵盖683个基于真实场景的查询，每个查询都配有经过人工验证的参考答案。此外，对于知识密集型的查询，AlignBench 还提供了来自可靠网络来源的证据，包括 URL 和引用，大大提高了评估的可靠性和真实性。

在评估方法上，AlignBench 采用了创新的规则校准多维 LLM-as-Judge方法，并结合了思维链（Chain-of-Thought）技术。这种方法不仅能生成解释性评价，还能给出最终评分，为研究人员提供了深入洞察LLMs表现的窗口。

本期顶会评测集解读让我们一起深入探讨 AlignBench 评测基准，揭示中文LLMs在对齐方面的潜力与挑战，推动中文自然语言处理技术迈向新高度！

介绍

在自然语言处理（NLP）领域，对齐（Alignment）已成为大型语言模型（LLMs）发展的关键挑战。随着ChatGPT等产品的兴起，LLMs在各种任务中展现出惊人的能力。然而，如何准确评估这些模型在中文环境下的对齐程度，一直是一个亟待解决的问题