Quality-Estimation0 (翻译质量评价-使用 BERT 特征训练 QE 模型)

最新推荐文章于 2025-05-26 11:30:54 发布

原创

最新推荐文章于 2025-05-26 11:30:54 发布 · 2.4k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#自然语言处理 #机器翻译 #quality estimation #bert

本文介绍了一种结合BERT和Bi-LSTM的翻译质量评估方法，旨在自动评估机器翻译的准确性。该方法首先利用BERT生成翻译句对中单词的上下文嵌入，然后将这些嵌入输入到Bi-LSTM中，最后使用模型的输出来计算翻译质量评分。实验在WMT17数据集上进行，结果显示了该方法的有效性。

简介

翻译质量评价（Quality Estimation,QE）是机器翻译领域中的一个子任务，大致可分为 Sentence-level QE，Word-level QE，Phrase-level QE，详情可参考WMT(workshop machine translation)比赛官网 http://www.statmt.org/wmt17/quality-estimation-task.html 。本项目针对 Sentence-level QE，使用 bert生成翻译句对中单词的 context embedding，然后将其输入到Bi-LSTM中，使用最后一个隐层节点的输出计算翻译质量评分。由于 wmt18-qe 的测试集标签没有公布，本项目仅在 wmt17-qe 数据集上进行实验。

实验需要的包

tensorflow >= 1.11.0;
keras(在2.2.4下测试通过，其他版本应该也是可以的，请自行尝试);
matplotlib;

实验步骤

代码见github : https://github.com/xlniu/Quality-Estimation0

1、准备数据，下载17年wmt sentence level的数据，并将数据改写成标准形式：‘src ||| mt’,示例：‘Who was Jim Henson ? ||| Jim Henson was a puppeteer’; 数据在比赛官网可以下载到，代码见convert_data.ipynb;
2、使用bert提取特征(context embedding)，代码见extract