Investigating Numerical Translation with Large Language Models

主要内容

1. 研究背景：数字翻译在金融、科技等领域至关重要，要求高度精确，但现有评估指标难以有效衡量数字翻译的准确性，相关研究较少，大语言模型（LLMs）在数字翻译方面的能力也未得到充分探索。
2. 数据集构建：构建了基于真实业务数据的中英双向数字翻译数据集，涵盖大单位、范围、小数、数字字符串等十种数字翻译类型，并详细说明了每种类型的特点和示例。
3. 模型评估与错误分析：测试了通用LLMs和翻译LLMs在数据集上的表现，发现没有模型能在所有数字翻译类型上表现出色，尤其在大单位翻译上表现较差。分析了错误原因，包括模型架构更擅长处理语言模式而非数字计算，存在单位转换困难和浮点计算精度问题。
4. 改进策略及结果：提出上下文学习（ICL）、思维链（COT）和后编辑（PE）三种改进大单位翻译的策略。实验表明，PE策略在所有基础模型上的表现均优于ICL和COT策略，能更有效地纠正翻译错误。

创新点

1. 构建新型数据集：构建了包含十种数字翻译类型的中英双向数字翻译数据集，基于真实业务数据，更贴合实际应用场景，为评估LLMs的数字翻译能力提供了全面的测试基准。
2. 多策略探索：提出并验证了三种改进大单位翻译的策略，通过对比实验发现后编辑策略在纠正翻译错误方面效果显著，为提升LLMs数字翻译性能提供了可行的方法。