文章核心总结与翻译
一、主要内容
本文聚焦大型语言模型(LLMs)在处理句间依赖的上下文感知翻译能力,通过英语-法语DiscEvalMT基准测试,针对代词指代和词汇衔接两大翻译挑战,评估了12个来自DeepSeek-R1、GPT、Llama、Mistral和Phi家族的模型。研究设计了两项任务:区分正确与看似合理的错误翻译、生成正确翻译,并对比了鼓励思维链(CoT)推理与不鼓励推理的提示词效果。结果显示,GPT-4、GPT-4o和Phi等顶尖模型借助CoT推理,在第一项任务中准确率达90%左右,第二项任务的COMET评分约92%,且呈现“智者愈智”效应——推理带来的性能提升与模型基础得分正相关。
二、创新点
- 系统评估了12个LLM在句间依赖翻译任务中的表现,刷新了DiscEvalMT基准在代词指代和词汇衔接上的性能纪录。
- 证实BLEU、chrF、BERTscore和COMET等指标对翻译任务的评分具有一致性,验证了评估结果的可靠性。
- 首次明确CoT提示词仅对顶尖模型的翻译连贯性有提升作用,且提出“智者愈智”效应,为后续LLM翻译优化提供了新方向。
三、核心部分翻译(Markdown格式)
Abstract(摘要)
本文评估了大型语言模型(LLMs)翻译包含句间依赖文本的能力。我们采用英语-法语DiscEvalMT基准测试集(Bawden等人,2018),该数据集包含成对句子,分
订阅专栏 解锁全文
188



被折叠的 条评论
为什么被折叠?



