基于perl的bleu得分和nist得分计算实现

ZileLee

于 2022-02-19 00:00:10 发布

阅读量850

点赞数 5

分类专栏：深度学习文章标签： perl 开发语言

本文链接：https://blog.youkuaiyun.com/naiue/article/details/123012484

版权

深度学习专栏收录该内容

1 篇文章

订阅专栏

该博客详细介绍了如何在Ubuntu系统上下载和安装mteval-v14.pl及相关依赖库，如XML-Twig、XML-Parser等，并提供了计算机器翻译模型得分的步骤，包括使用xml_transform.py转换文件格式和运行mteval-v14.pl获取NIST和BLEU分数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先感谢这位博主的文章
https://blog.youkuaiyun.com/liuy9803/article/details/104725092/
这里对这篇博客做了些补充和填坑工作。

首先从官网下载mteval-v14c
从中找到mteval-v14.pl文件
或者在这里下载mteval-v14.pl

然后使用按顺序下载以下几个库，下载后解压
XML-Twing https://metacpan.org/release/XML-Twig

expat-devel http://sourceforge.net/projects/expat/

XML-Parser https://metacpan.org/pod/XML::Parser

Sort-Naturally https://metacpan.org/pod/Sort::Naturally

String-Util https://metacpan.org/pod/String::Util
对于来自metacpan的库运行命令

perl Makefile.PL -y
make
make install

关于expat-devel 的安装
我们打开http://sourceforge.net/projects/expat/
在这里插入图片描述

直接点击download可能会下载zip后缀的win系统使用的expat，我的系统是Ubuntu，因此我下载后缀为.tar.gz的压缩包

下载后解压，执行以下命令

./configure
make
make install

如果make出现报错，尝试使用后再进行make

autoconf -ivf

下载这个博客中的python代码并将其命名为xml_transform.py
https://blog.youkuaiyun.com/angus_monroe/article/details/82943162

使用：

例：计算某个机器翻译模型的得分
把以下文件装在一个文件夹下

pred.txt # 模型预测结果
true.txt # 真实数据
mteval-v14.pl
xml_transform.py

依次执行以下命令

python xml_transform.py src text true pred true.txt
python xml_transform.py ref text true pred true.txt
python xml_transform.py tst text true pred pred.txt
perl mteval-v14.pl -s text_src.xml -r text_ref.xml -t text_tst.xml

最后得到结果

MT evaluation scorer began on 2022 Feb 18 at 22:33:13

command line:  mteval-v14.pl -s text_src.xml -r text_ref.xml -t text_tst.xml

Evaluation of true-to-pred translation using:
    src set "text" (1 docs, 1 segs)
    ref set "text" (1 refs)
    tst set "text" (1 systems)

NIST score = 2.3219  BLEU score = 0.1597 for system "pred"

# ------------------------------------------------------------------------

Individual N-gram scoring
        1-gram   2-gram   3-gram   4-gram   5-gram   6-gram   7-gram   8-gram   9-gram
        ------   ------   ------   ------   ------   ------   ------   ------   ------
 NIST:  2.3219   0.0000   0.0000   0.0000   0.0000   0.0000   0.0000   0.0000   0.0000   "pred"

 BLEU:  1.0000   0.1250   0.0833   0.0625   0.0625   1.0000   1.0000   1.0000   1.0000   "pred"

# ------------------------------------------------------------------------

Cumulative N-gram scoring
        1-gram   2-gram   3-gram   4-gram   5-gram   6-gram   7-gram   8-gram   9-gram
        ------   ------   ------   ------   ------   ------   ------   ------   ------
 NIST:  2.3219   2.3219   2.3219   2.3219   2.3219   2.3219   2.3219   2.3219   2.3219   "pred"

 BLEU:  1.0000   0.3536   0.2184   0.1597   0.1324   0.1855   0.2359   0.2826   0.3252   "pred"

MT evaluation scorer ended on 2022 Feb 18 at 22:33:13