INCLUDE: EVALUATING MULTILINGUAL LANGUAGE UNDERSTANDING WITH REGIONAL KNOWLEDGE

本文是LLM系列文章，针对《INCLUDE: EVALUATING MULTILINGUAL LANGUAGE UNDERSTANDING WITH REGIONAL KNOWLEDGE》的翻译。

摘要

语言之间的大型语言模型（LLM）的性能差异阻碍了它们在许多地区的有效部署，抑制了生成性人工智能工具在许多社区的潜在经济和社会价值。然而，由于缺乏英语以外语言的高质量评估资源，许多语言的功能性LLM（即多语言LLM）的发展受到了瓶颈。此外，目前多语言基准构建的做法往往翻译英语资源，忽视了使用多语言系统的环境的区域和文化知识。在这项工作中，我们构建了一个由197243对来自当地考试来源的QA对组成的评估套件，以衡量多语言LLM在各种地区背景下的能力。我们的新资源INCLUDE是一个以知识和推理为中心的综合基准，涵盖44种书面语言，评估多语言LLM在实际部署语言环境中的性能。我们发布INCLUDE供公众使用。

1 引言

2 前言：语言和知识

3 INCLUDE基准

4 实验设置

5 结果与分析

6 相关工作