The State of Multilingual LLM Safety Research: From Measuring the Language Gap to Mitigating It

文章主要内容

本文系统分析了2020-2024年ACL系列会议及研讨会中近300篇LLM安全研究论文，揭示了该领域以英语为中心的现状，指出即使是高资源非英语语言也未得到足够关注，且非英语语言研究多作为多语言评估的一部分，缺乏针对性和深度。同时，英语安全研究普遍存在语言覆盖范围记录不完整的问题。针对这些问题，文章提出了三个未来研究方向：开发基于文化的评估基准、策划多样化的多语言安全训练数据，以及深化对跨语言安全泛化的理解。

文章创新点

1. 量化语言差距：通过大规模文献分析，首次系统性量化了LLM安全研究中英语与非英语语言的失衡程度，并发现这一差距随时间推移逐渐扩大。
2. 提出研究框架：针对多语言安全研究不足的问题，提出了涵盖评估、数据生成和跨语言泛化的三维研究框架，为后续研究提供了明确方向。
3. 强调文化特异性：指出语言差异不仅体现在词汇和语法上，还涉及文化内涵、社会规范等，呼吁在安全研究中纳入文化敏感性考量。

摘要（Abstract）

本文全面分析了LLM安全研究的语言多样性，强调了该领域以英语为中心的本质。通过对2020-2024年主要NLP会议（∗ACL）及研讨会中近300篇公开论文的系统回顾，我们发现LLM安全研究中存在显著且日益扩大的语言差距，即使是高资源非英语语言也仅受到极少关注。我们进一步观察到，非英语语言很少作为独立语言被研究，且英语安全研究普遍存在语言记录不规范的问题。为推动未来多语言安全研究，我们基