Chain-of-Thought Reasoning Improves Context-Aware Translation with Large Language Models

文章主要内容总结

该研究评估了12个不同家族（DeepSeek-R1、GPT、Llama、Mistral、Phi）的大语言模型（LLMs）在上下文感知翻译中的表现，聚焦句间指代照应和词汇衔接两大核心挑战。研究采用DiscEvalMT英-法基准数据集，设计了两项任务：一是区分正确与看似合理的错误翻译（对比任务），二是直接生成符合上下文的正确翻译（翻译任务），并对比了鼓励思维链（CoT）推理的提示词与无推理提示词的效果。结果显示，GPT-4、GPT-4o和Phi-4等顶尖模型借助CoT推理，在对比任务中准确率接近95%，翻译任务中COMET评分达0.92左右，且出现“智者更智”效应——模型初始性能越好，推理提示词带来的提升越显著。

创新点

1. 系统评估了12个主流LLMs在句间依赖翻译任务中的表现，刷新了DiscEvalMT基准的最新性能纪录。
2. 证实CoT推理提示词能有效提升上下文感知翻译的连贯性，但仅对顶尖模型生效，揭示“智者更智”的性能提升规律。
3. 验证了BLEU、chrF、BERTScore和COMET四种评估指标在该任务中的一致性，为上下文翻译评估提供了可靠参考。
4. 设计了针对指代照应和词汇衔接的专用推理提示词，实现了推理过程与翻译结果的分离，为后续可控翻译研究提供思路。

---

Abstract（摘要翻译）

本文评估了大语言模型（LLMs）翻译包含句间依赖文本的能力。我们使用英-法DiscEvalMT基准数据集（Bawden等人，2018），该数据集包含成对句子，分别涉及指代照应或词