在全球化日益深入的今天，人们在日常交流中越来越频繁地混合使用多种语言。比如一个华人可能会说"今天的meeting很重要"，或者一个阿拉伯人可能写道"这个project真的很challenging"。这种在同一句话中切换使用不同语言的现象，语言学家称之为"代码转换"。随着大语言模型越来越多地处理我们的日常文本，它们能否真正理解这种混合语言就变得至关重要。
来自阿联酋穆罕默德·本·扎耶德人工智能大学（MBZUAI）和法国巴黎综合理工学院的研究团队，于2025年6月发表了一项开创性研究，系统性地测试了当前主流大语言模型处理代码转换文本的真实能力。这项研究由MBZUAI的Amr Mohamed和Guokan Shang领导，联合巴黎综合理工学院的Yang Zhang和Michalis Vazirgiannis共同完成。研究成果发表在计算语言学领域的顶级会议上，完整论文可通过arXiv:2506.14012v1获取。
这项研究的独特之处在于，它不仅考察了大语言模型在混合语言环境下的表现，还深入探讨了不同类型的语言混合对模型理解能力的具体影响。研究团队发现了一个令人意外的现象：当在英语句子中插入其他语言的词汇时，模型的理解能力会显著下降；但当在其他语言的句子中插入英语词汇时，模型的表现反而可能会提升。这种不对称现象揭示了当前AI系统在多语言处理方面存在的深层结构性偏见。
一、当AI遇到"混搭语言"：问题比想象中更复杂
要理解这项研究的重要性，我们首先需要认识代码转换这个现象有多普遍。代码转换并不是简单的"中英文混杂"，而是遵循特定语言学规律的复杂现象。就像厨师在烹饪时会遵循特定的配菜原则一样，说话者在混合使用语言时也会无意识地遵循某些语法规则。
语言学家们早就发现，代码转换有其内在规律。比如"等价约束理论"告诉我们，语言切换通常发生在两种语言的语法结构兼容的位置。这就像两条不同的铁轨需要在某个特定点才能平滑连接，不是任何地方都可以随意切换的。另一个重要理论是"母语框架模型"，它认为在混合语言中，总有一种语言充当"主框架"，负责提供句子的基本语法结构，而另一种语言只是"客串"，插入一些词汇但不破坏整体结构。
然而，尽管我们对代码转换的语言学原理有了深入了解，但对于大语言模型如何处理这种混合语言，我们的认知还相当有限。现有的评估基准主要关注表面层次的任务，比如识别哪些词属于哪种语言，或者分析句子的情感倾向，却很少深入考察模型是否真正理解混合语言文本的深层含义。
这就像只测试一个人能否识别菜谱中的中文和英文词汇，却不测试他是否真的理解这道菜应该怎么做。研究团队意识到，我们需要更深入、更全面的评估方法来真正了解大语言模型的混合语言理解能力。
二、巧妙的实验设计：让AI"考试"暴露真实水平
为了系统性地测试大语言模型的代码转换理解能力，研究团队设计了一套精巧的实验方案。他们的核心思路是：既然我们有很多成熟的英语理解测试，为什么不把它们"改造"成混合语言版本，然后看看模型的表现会如何变化？
研究团队选择了三个具有代表性的测试基准。第一个是Belebele，专门测试阅读理解能力，就像给学生一篇文章然后问几个理解性问题。第二个是MMLU，涵盖了从历史到科学的57个不同知识领域，就像一个超级全面的知识竞赛。第三个是XNLI，测试的是自然语言推理能力，也就是给模型两个句子，让它判断它们之间的逻辑关系。
接下来的关键问题是：如何创造出高质量的混合语言测试文本？研究团队开发了两种不同的方法。
第一种方法他们称为"名词替换法"，
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
