CultureLLM: Incorporating Cultural Differences into Large Language Models

UnknownBody

于 2024-04-12 17:09:17 发布

阅读量199

点赞数

文章标签：语言模型数据挖掘人工智能

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/137687120

版权

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

本文介绍CultureLLM，一种经济高效的解决方案，用于将文化差异纳入大型语言模型。通过世界价值调查（WVS）数据和语义增强，CultureLLM在9种文化和59个数据集上展现出优于GPT-3.5和Gemini Pro的性能，与GPT-4相当。尽管存在局限性，如未在大规模开源模型上实施，但该研究为LLM的跨文化理解和生成提供了重要进展。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《CultureLLM: Incorporating Cultural Differences into Large Language Models》的翻译。

摘要

据报道，由于来自英语语料库的训练数据占主导地位，大型语言模型（LLM）偏向于某些文化。由于多语言文化数据的收集成本往往很高，现有的工作通过提示工程或特定文化的预训练来处理这一问题。然而，他们可能会忽视低资源文化的知识不足，并需要大量的计算资源。在本文中，我们提出了CultureLLM，这是一种将文化差异纳入LLM的经济高效的解决方案。CultureLLM采用世界价值调查（WVS）作为种子数据，并通过所提出的语义数据扩充生成语义等效的训练数据。仅使用来自WVS的50个种子样本和增强的数据，我们对覆盖丰富和低资源语言的9种文化的特定文化LLM和一个统一模型（CultureLLMOne）进行了微调。在60个文化相关数据集上进行的广泛实验表明，CultureLLM显著优于GPT-3.5（8.1%）和Gemini Pro（9.5%）等各种对应物，其性能与GPT-4相当甚至更好。我们的人类研究表明，生成的样本在语义上与原始样本等效，为LLM增强提供了有效的解决方案。