LITRANSPROQA (arXiv:2505.05423)

最新推荐文章于 2026-11-11 13:00:00 发布

原创最新推荐文章于 2026-11-11 13:00:00 发布 · 72 阅读

0 GEO检测

LLM Daily 专栏收录该内容

3844 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

本文提出LITRANSPROQA，一种基于大语言模型（LLM）的无参考文学翻译自动评估框架。该框架融合专业译者知识，构建25个聚焦文学手法、文化理解与语气的一致性问答，支持LLaMA3.3-70b、Qwen2.5-32b等开源模型，在Kendall’s τ和ACC-EQ指标上显著超越XCOMET-XL、GEMBA-MQM等SOTA方法，相关性提升达0.07，充分性提升超15分，评估结果接近受训学生水平。

### 文章主要内容总结
本文聚焦于文学翻译评估领域，针对现有评估指标过度关注机械准确性、忽视艺术性表达及文化真实性的问题，提出了一种基于大语言模型（LLM）的新型评估框架 **LITRANSPROQA**。该框架通过整合专业文学译者和研究者的见解，设计了一套针对文学翻译核心要素（如文学手法、文化理解、语气等）的问答体系，无需参考译文即可评估翻译质量。

#### 关键实验与结果
- **数据集**：使用LITEVAL-CORPUS、LITERARYTRAN、PAR3-ANNOTATED等多语言文学翻译数据集，涵盖德-英、英-中、法-英等语言对，包含专业人工翻译和机器翻译结果。
- **对比方法**：
- **微调XCOMET-XL**：在文学任务上进行微调，但性能提升有限，且存在计算成本高、稳定性不足的问题。
- **现有SOTA指标**：如GEMBA-MQM、XCOMET-XL等，在文学翻译评估中普遍低估人工翻译质量，与人类判断的相关性较低。
- **LITRANSPROQA性能**：
- **相关性与充分性**：在ACC-EQ和Kendall’s τ指标上显著优于现有指标，例如在LITEVAL-CORPUS中，Kendall’s τ达0.605，比最佳SOTA高0.035；在充分性评估中，人类翻译得分高于机器翻译的比例提升超15个百分点。
- **开源模型兼容性**：在LLaMA3.3-70b、Qwen2.5-32b等开源模型上表现优异，适用于需本地处理的版权或伦理敏感文本。
- **人工评估接近性**：在充分性上接近受过训练的学生评估者水平，展现出类人评估潜力。

#### 结论与展望
LITRANSPROQA为文学翻译提供了一种可靠、可访问的自动化评估工具，有助

标签