CHARACTERBENCH: Benchmarking Character Customization of Large Language Models

本文是LLM系列文章，针对《CHARACTERBENCH: Benchmarking Character Customization of Large Language Models》的翻译。

摘要

基于角色的对话（又名角色扮演）使用户能够自由定制角色进行交互，这通常依赖于LLM，因此需要评估LLM的角色定制能力。然而，现有的基准无法确保稳健的评估，因为它们通常只涉及一个字符类别或评估有限的维度。此外，响应中字符特征的稀疏性使得以特征为中心的生成评估既无效又低效。为了解决这些问题，我们提出了最大的双语生成基准CHARACTERBENCH，它有22859个人类注释的样本，涵盖了25个详细字符类别中的3956个字符。我们定义了6个方面的11个维度，根据特定维度评估的字符特征是否出现在每个响应中，分为稀疏和密集维度。我们通过为每个维度定制查询来诱导角色对特定维度的反应，从而实现有效和高效的评估。此外，我们开发了CharacterJudge模型，用于成本效益和稳定的评估。实验表明，它优于SOTA自动判断（如GPT-4），并且我们的基准测试具有优化LLM角色定制的潜力。我们的存储库位于https://github.com/thu-coai/CharacterBench.

<