CultureLLM: Incorporating Cultural Differences into Large Language Models

本文是LLM系列文章，针对《CultureLLM: Incorporating Cultural Differences into Large Language Models》的翻译。

摘要

据报道，由于来自英语语料库的训练数据占主导地位，大型语言模型（LLM）偏向于某些文化。由于多语言文化数据的收集成本往往很高，现有的工作通过提示工程或特定文化的预训练来处理这一问题。然而，他们可能会忽视低资源文化的知识不足，并需要大量的计算资源。在本文中，我们提出了CultureLLM，这是一种将文化差异纳入LLM的经济高效的解决方案。CultureLLM采用世界价值调查（WVS）作为种子数据，并通过所提出的语义数据扩充生成语义等效的训练数据。仅使用来自WVS的50个种子样本和增强的数据，我们对覆盖丰富和低资源语言的9种文化的特定文化LLM和一个统一模型（CultureLLMOne）进行了微调。在60个文化相关数据集上进行的广泛实验表明，CultureLLM显著优于GPT-3.5（8.1%）和Gemini Pro（9.5%）等各种对应物，其性能与GPT-4相当甚至更好。我们的人类研究表明，生成的样本在语义上与原始样本等效，为LLM增强提供了有效的解决方案。

1 引言

2 相关工作

3 CultureLLM

4 实验

5 讨论

6 结论和局限性

文化差异对世界的繁荣至关重要。在本文中，我们提出了CultureLLM，这是一种经济高效的解决方案，可以微调具有文化意识的LLM。我们从《世界价值调查》中抽取了少量（50）样本，然后通过我们新颖的语义