ALIGN: Word Association Learning for Cross-Cultural Generalization in Large Language Models

ALIGN研究论文总结与核心部分翻译

一、文章主要内容

该研究聚焦大型语言模型（LLMs）的跨文化泛化问题，旨在解决LLMs因预训练语料中语言和观点分布偏差导致的文化对齐不足问题。研究提出一种成本高效、基于认知的解决方案：利用母语者的自由词汇联想规范（编码隐性文化图式）对模型进行参数高效微调。

1. 研究基础与数据

• 数据来源：采用Small-World-of-Words项目的英语（美国）和普通话（中文）词汇联想数据，其中英语数据集（SWOW.EN）包含1.2万个提示词和360万条响应，中文数据集（SWOW.ZH）包含1万个提示词和200万条响应。
• 模型选择：以英语中心模型Llama-3.1-8B和中文中心模型Qwen-2.5-7B为研究对象，对比监督微调（SFT）和基于PPO的偏好优化两种微调方式。

2. 核心实验与结果

• 词汇联想层面评估：SFT微调显著提升模型性能，英语任务中Precision@5提升16%-20%，中文任务中提升43%-165%；模型生成联想的中位数具体性提升0.20，效价和唤醒度达到人类水平；PPO微调在排序任务上仅带来微小提升，效果远低于SFT。
• 文化价值对齐评估：基于世界价值观调查（WVS）评估，微调后的模型回答分布向目标文化偏移。在50个高张力问题子集上，中文对齐的Qwen模型响应