Leveraging Large Language Models for Accurate Sign Language Translation in Low-Resource Scenarios

论文《Leveraging Large Language Models for Accurate Sign Language Translation in Low-Resource Scenarios》总结与翻译

一、文章主要内容总结

该论文聚焦低资源场景下的手语翻译难题，提出了名为AulSign（Advanced Use of LLMs for Sign Language Translation）的新型手语翻译方法，旨在解决自然语言与手语对齐的平行语料稀缺、现有方法泛化能力弱等问题，具体内容如下：

1. 研究背景：手语翻译（如英语到美国手语、意大利语到意大利手语）因依赖视觉空间语法体系，且高质量训练数据匮乏，成为低资源语言翻译中的难点；现有方法多需大量训练数据，且中间表示（如手势标记、HamNoSys）难以完整捕捉手语的视觉空间结构，泛化能力受限。
2. 方法设计：AulSign由检索器（Retriever）、大型语言模型（LLM）和手语映射器（Sign Mapper）三部分构成，核心流程为：
   • 数据预处理：将训练集中的手语转换为“规范描述”（canonical descriptions）作为伪语言，建立手语与自然语言的明确映射，避免歧义。
   • 检索与提示生成：