Evaluating the Elementary Multilingual Capabilities of Large Language Models with MULTIQ

本文是LLM系列文章，针对《Evaluating the Elementary Multilingual Capabilities of Large Language Models with MULTIQ》的翻译。

摘要

大型语言模型（LLM）需要为每个人服务，包括全球大多数非英语使用者。然而，今天的大多数LLM，尤其是开放式LLM，通常只用于英语（例如Llama2、Mistral）或少数高资源语言（例如Mixtral、Qwen）。最近的研究表明，尽管LLM的预期用途有限，但人们还是用许多不同的语言提示LLM。因此，在本文中，我们研究了最先进的多语言能力打开超出预期用途的LLM。为此，我们引入了MULTIQ，这是一个新的银标准基准，用于基本的开放式问题回答，在137种语言的类型多样的集合中有27.4k道测试题。使用MULTIQ，我们评估语言保真度，即模型是否以提示的语言进行响应，以及问答的准确性。我们测试的所有LLM至少对某些超出预期用途的语言做出了忠实和/或准确的响应。大多数模型在忠实响应时会更准确。然而，模型之间的差异很大，而且存在着模型既不准确也不忠实的语言长尾。我们探索了标记化的差异，作为对我们发现的潜在解释，确定了值得进一步调查的可能相关性。

1 引