coling 2025：LTRS: Improving Word Sense Disambiguation via Learning to Rank Senses

# 提升词义消歧：基于排序学习的LTRS方法 在自然语言处理领域，词义消歧（Word Sense Disambiguation, WSD）一直是一个基础且关键的任务。它对于准确的语义理解至关重要，并且对信息检索、文本摘要、机器翻译等多个下游应用有着重要的推动作用。然而，传统的WSD方法在处理低频词义时往往表现不佳，这也成为了该领域的一个痛点。今天，我们将介绍一种新颖的方法——基于排序学习的词义消歧方法（Learning to Rank Senses, LTRS），该方法由北京大学的研究团队提出，为WSD任务带来了新的思路和突破。 ## 一、WSD任务的挑战与传统方法的局限 词义消歧的核心目标是在特定语境中确定多义词的正确词义。尽管近年来结合词法知识的神经WSD方法取得了一定的进展，但高频词义（MFS）和低频词义（LFS）之间的性能差距仍然显著。这种差距主要源于训练数据的不平衡——低频词义作为正例的情况很少，导致模型难以有效学习这些词义的特征。 为了解决这一问题，一些方法尝试通过专门为低频词义标注更多实例或使用损失重加权来平衡高频和低频词义的学习。然而，获取罕见词义的实例既费力又耗时，而损失重加权由于低频词义的数据不足，可能导致过拟合。 ## 二、LTRS方法的核心思想 LTRS方法的提出源于一个重要的语言学观察：具有相似词义的词往往出现在相似的语境中。例如，汉语中的"宽阔"和"坦荡"在表示"面积宽"和"心胸开阔"时，其语境具有明显的相似性。这种现象在其他语言中也同样存在，如英语中的"wide"和"broad"。 基于这一观察，LTRS方法的核心思想是通过排序扩展的词义定义列表，让模型从更广泛的实例中学习词义的表示和消歧。与传统方法只考虑目标词的预定义词义不同，LTRS引入了排序学习（Learning to Rank, LTR）的思想，使模型能够有效区分与目标词语义相似程度不同的词义。 ## 三、LTRS的技术架构与实现细节 ### 3.1 任务形式化 LTRS将WSD视为一个多分类任务。给定语境中的多义词w，WSD系统需要从w的词义定义集合Dw中识别最合适的词义定义。为了找到目标定义，LTRS使用一个函数f将(w, d)对映射到一个相似性分数s。在预测时，通过arg max操作选择得分最高的定义作为结果。 ### 3.2 模型架构 LTRS的整体架构如图1所示，主要包含以下几个关键组件： 1. **统一词义定义集**：将小批量目标词的词义定义集合合并为一个统一的集合DW，为模型提供更广泛的学习实例。 2. **语境编码器和定义编码器**：使用预训练的BERT模型初始化，分别对语境和词义定义进行编码。为了增强泛化能力，语境输入中的目标词被[MASK]标记替换。 3. **相似性计算**：通过余弦相似度计算目标词表示和词义定义表示之间的相似性分数。 4. **排序损失函数**：采用ListNet和ListMLE两种列表式LTR方法，帮助模型从真实分数中学习排序知识至。 ### 3.3 关键创新点 LTRS的一个重要创新是扩展了候选定义列表，纳入了其他词的定义。这种方法使模型能够从更广泛的实例中学习词义表示和消歧，这对于低频词义尤其有帮助。此外，LTRS利用先进的句子嵌入模型BGE来计算词义定义之间的相似性，为排序学习提供了更准确的指导。 ## 四、实验结果与分析 ### 4.1 数据集与实验设置 研究团队融合了FiCLS和MiCLS两个数据集，构建了一个包含96829个实例的新数据集，覆盖了《现代汉语词典》中88.1%的多义词和77.9%的词义。实验采用chinesebert-base-wwm-ext作为基础模型，并使用bge-large-zh-v1.5计算真实分数至。 ### 4.2 整体性能表现 实验结果表明，LTRS在中文WSD任务上取得了显著的性能提升。如表3所示，LTRS ListNet在测试集上达到了79.6%的F1分数，超越了所有竞争对手，包括GlossBERT、BEM、FormBERT和ESCHER等先进方法。与BEM相比，LTRS ListNet和LTRS ListMLE分别提高了1.5和1.2个F1点至。 ### 4.3 低资源场景下的表现 LTRS在低资源场景下表现出了出色的鲁棒性。在低频词义和零样本场景中，LTRS相比竞争对手有显著提升。例如，在零样本场景中，LTRS ListNet的F1分数达到了70.0%，远高于BEM的62.3%和ESCHER的57.6%。这一结果验证了LTRS通过从其他实例中学习来处理低频和未见词义的能力至。 ### 4.4 小样本学习能力 在小样本场景下，LTRS展现了高效的数据利用能力。如图2所示，当每个词义仅使用3个训练实例时，LTRS就能达到与最强的BEM相当的结果，这表明LTRS在数据稀缺的情况下依然能够有效学习至。 ### 4.5 训练效率分析 LTRS在训练效率上也表现出色。如图3所示，LTRS能够在100分钟内达到最佳验证性能，远快于BEM。LTRS ListNet和LTRS ListMLE每个 epoch 分别只需9.6和9.8分钟，而BEM则需要24.2分钟。这种效率提升得益于LTRS采用的统一词义定义集，有效解决了每个词词义数量不同导致的并行处理限制至。 ## 五、LTRS的优势与局限性 ### 5.1 主要优势 1. **性能提升**：LTRS在中文WSD任务上取得了SOTA结果，F1分数达到79.6%。 2. **低资源鲁棒性**：在低频词义和零样本场景下表现出色，有效缓解了数据不平衡问题。 3. **训练效率高**：相比传统方法，LTRS收敛更快，能够更高效地利用训练数据。 4. **方法通用性**：LTRS的思路不仅适用于中文，还可能推广到其他语言的WSD任务至。 ### 5.2 局限性 1. **数据集依赖**：LTRS的优异表现与所使用的包含较高比例低频和零样本词义的数据集有关，在低频词义比例较低的基准测试中，优势可能不明显。 2. **外部模型依赖**：LTRS依赖先进的句子嵌入模型（如BGE）来计算词义定义之间的相似性，在低资源语言中，这类模型的准确性可能不足。 3. **细粒度消歧挑战**：与传统方法一样，LTRS在需要细粒度词义分类的词语上难以取得显著性能提升，这需要额外的词汇语义和句法知识支持至。 ## 六、未来展望 LTRS为WSD任务提供了一种新的技术途径。未来的研究方向包括： 1. **多语言扩展**：进一步评估LTRS在更多语言，特别是低资源语言中的表现。 2. **细粒度消歧改进**：探索如何结合更多的词汇语义和句法知识，提升细粒度词义消歧的性能。 3. **模型优化**：研究如何减少对外部句子嵌入模型的依赖，提高LTRS在低资源场景下的实用性。 4. **下游任务整合**：研究LTRS对信息检索、机器翻译等下游任务的实际影响。 ## 七、结语 LTRS方法通过引入排序学习的思想，为词义消歧任务带来了新的突破。它不仅在性能上取得了显著提升，还在低资源场景和训练效率方面展现出了优势。尽管存在一些局限性，但LTRS为WSD领域提供了一个有价值的新思路，有望在未来推动自然语言处理技术的进一步发展。 如果你对LTRS的具体实现感兴趣，可以访问项目的GitHub仓库：https://github.com/COOLPKU/LTRS，获取更多详细信息和代码实现。