Information Loss in LLMs’ Multilingual Translation: The Role of Training Data, Language Proximity

文章主要内容总结

本文系统研究了大型语言模型（LLMs）在多语言翻译中的信息损失问题，重点探讨训练数据、语言距离（language proximity）和语言家族对翻译质量的影响。研究以GPT-4和Llama 2为对象，通过“往返翻译”（先将英语译为目标语言，再译回英语）评估模型性能，采用BLEU分数和BERT相似度作为指标，得出以下核心结论：

1. 训练数据与语言距离的交互作用：丰富的训练数据可部分抵消语言差异带来的劣势；而在低资源场景下，与英语结构更接近的语言翻译质量更高。
2. 语言距离指标的预测力：正字法距离（orthographic distance）、系统发育距离（phylogenetic distance）、句法距离（syntactic distance）和地理距离（geographical distance）对翻译质量的预测作用更显著，而语音、特征等距离的影响较小。
3. 语言家族的独立影响：即使控制训练数据，语言家族仍独立影响翻译质量。印欧语系中的罗曼语族和日耳曼语族表现最优，而与英语差异较大的语族（如汉藏语系、尼日尔-刚果语系）表现较差。