LiRA: Linguistic Robust Anchoring for Cross-lingual Large Language Models

文章总结与翻译

一、主要内容

本文针对低资源语言（如乌尔都语、泰语等）在大型语言模型（LLMs）中表现不佳的问题，提出了一种名为LiRA（Linguistic Robust Anchoring for Large Language Models）的训练框架，旨在增强低资源条件下的跨语言表示能力，同时提升检索和推理性能。

核心背景

• 高资源语言（英语、中文）的LLM性能接近饱和，但低资源语言受限于训练数据不足、机器翻译噪声和跨语言对齐不稳定等问题，性能差距显著。
• 现有方法（基于机器翻译或多语言编码器）存在语义漂移、推理能力不足等缺陷，难以兼顾检索与推理任务。

框架构成

1. Arca（Anchored Representation Composition Architecture）：通过基于锚点的对齐和多智能体协作编码，将低资源语言锚定到英语语义空间，减少语义漂移，保持共享嵌入空间的几何稳定性。包含翻译评估器、嵌入评估器和演员-适配器三大模块，分别优化翻译失真和锚定误差。
2. LaSR（Language-coupled Semantic Reasoner）：在Arca的多语言表示基础上添加语言感知轻量级推理头，通过一致性正则化统一训练目标，增强跨语言理解、检索和推理的鲁棒性。采用两个FIFO缓冲区（CorrQueue和DocQueue）分别支持排序和检索任务。