BLEU机器翻译评价指标学习笔记

最新推荐文章于 2025-03-27 20:39:08 发布
最新推荐文章于 2025-03-27 20:39:08 发布
阅读量2.6k 收藏 5
点赞数 1
分类专栏： 评价指标 文章标签： 评价指标 机器翻译 Image Caption 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/kuaizi_sophia/article/details/83900507
版权
BLEU是一种用于评估机器翻译质量的指标，通过比较机器译文与参考译文的n-gram精度。它考虑了翻译的充分性和流畅性，并通过惩罚因子调整不同长度的翻译。虽然BLEU方便快速，但忽略了语法准确性和同义词表达。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

BLEU机器翻译评价指标学习笔记

BLEU(bilingual evaluation understudy)，双语互译质量评估辅助工具，主要用来评估机器翻译质量的工具。

评判思想：机器翻译结果越接近专业人工翻译的结果，则越好。

实际工作：判断两个句子的相似程度。

计算公式：
B L E U − N = B P ⋅ e x p ( ∑ n = 1 N w n l o g p n ) BLEU-N=BP \cdot exp\Big(\sum_{n=1}^{N}{w_nlog{p_n}}\Big) BLEU−N=BP⋅exp(n=1∑N​wn​logpn​)
其中，BP为惩罚因子， p n p_n pn​为多元精度， w n w_n wn​为多元精度对应的权重。

多元精度n-gram precision

原始多元精度

原文：猫坐在垫子上
机器译文： the the the the the the the.
参考译文：The cat is on the mat.

  • 1元精度 1-gram

    img

    6个词中，5个词命中译文，1元精度 p 1 p_1 p1​为5/6.

  • 2元精度 2-gram

    img

    2元词组的精度则是 3/5.

  • 3元精度 3-gram

    img

    3元词组的精度为1/4.

  • 4元精度 4-gram

    4元词组的精度为0。

一般情况，1-gram可以代表原文有多少词被单独翻译出来，可以反映译文的充分性，2-gram以上可以反映译文的流畅性，它的值越高说明可读性越好。

  • 异常情况

    原文：猫坐在垫子上
    机器译文： the the the the the the the.
    参考译文：The cat is on the mat.

    此时，1-gram匹配度为7/7，显然，此译文翻译并不充分，此问题为常用词干扰。

改进多元精度

C o u n t w i , j c l p = m i n ( C o u n t w i , R e f j C o u n t w i ) C o u n t c l p = m a x ( C o u n t w i , j c l p ) , i = 1 , 2 , 3 ⋯ p n = ∑ C ∈ C a n d i d a t e s ∑ n − g r a m ∈ C C o u n t c l i p ( n − g r a m

最低0.47元/天 解锁文章
NLP笔记：BLEU
qq_40206371的博客
08-27 730
机器译文： the the the the the the the.机器翻译：The cat sat on the mat.机器翻译：The cat sat on the mat.人工翻译：The cat is on the mat.参考译文：The cat is on the mat.此时 1-gram会把所有the都算上，匹配度为7/7。参考译文：The cat is on the mat.人工翻译：The cat is on the mat。——>取最小值之后，1-gram为2/7。
论文笔记-Bleu 一种机器翻译的评价指标
彼得.攀的blog
06-17 1701
[点击查看原文[(https://akeeper.space/blog/论文笔记-bleu-一种机器翻译的评价指标.html) 在文本生成中，如何评价生成文本质量是一个很重要的问题。2002年Kishore Papineni et al.提出一个重要评价指标Bleu，该论文引用过万，是NLP领域的必读文章之一。Bleu最初应用于机器翻译 论文地址：https://www.aclweb.org/an...
机器翻译和文本生成评估指标：BLEU 计算公式
qq_62556797的博客
03-27 792
Pn=∑匹配的 n-gram 计数∑生成文本的 n-gram 计数P_n = \frac{\sum_{\text{匹配的 } n\text{-gram 计数}}}{\sum_{\text{生成文本的 } n\text{-gram 计数}}}Pn​=∑生成文本的 n-gram 计数​∑匹配的 n-gram 计数​​。wnw_nwn​ 是 n-gram 的权重（通常均匀分配，如 1-gram, 2-gram, 3-gram, 4-gram 各 25%）：生成文本的 n-gram 在参考文本中出现的次数。
机器翻译笔记
01-06
机器翻译和数据集 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 字符在计算机里是以编码的形式存在，我们通常所用的空格是 \x20 ，是在标准ASCII可见字符 0x20~0x7e 范围内。 而 \xa0 属于 latin1 （ISO/IEC_8859-1）中的扩展字符集字符，代表不间断空白符nbsp(non-breaking space)，超出gbk编码范围，是需要去除的特殊字符。再数据预处理的过程中，我们首先需要对数据进行清洗。 分词 字符串
BLEU评估指标
rainy_universe的博客
12-28 1万+
BLEU评估指标在机器翻译任务中经常使用，本文主要对BLEU评估指标的计算过程以及计算工具的使用进行总结
BLEU指标
weixin_63681863的博客
01-06 498
需要注意的是，BLEU得分是一个介于0到1之间的值（有时也按10的对数变换后显示为一个更便于阅读的分数，即0到100之间），得分越高表示机器翻译的质量越好。然而，BLEU也存在一些局限性，如只关注n-gram之间的匹配，可能忽略了翻译中的一些语法、词汇或语境上的差异，以及无法完全反映语义的丰富性或上下文的适当性。精确度计算：对于每个n-gram，计算其在机器翻译结果中出现的次数与在参考翻译中出现次数的最小值，然后除以机器翻译结果中该n-gram的总次数，得到该n-gram的精确度。
机器翻译+对话系统中的评价指标
12-02
bleu 评价指标 ,在这里有详细介绍。大家可以作为参考看一下，有关论文中的计算公式，以及一些别的概念，如T-5 ,T-1
BLEU：一种应用于机器翻译的Metric
gowithme11123123的博客
12-03 1065
该文章着重介绍了BLEU的背景和理论知识，剖析了BLEU的数学公式，以及对于关键代码部分做出了解释
Xinhui学习NLP的笔记本：基于注意力机制的机器翻译
Ahu_Wxh_Ai的博客
06-23 1166
在下面的文章中，我们要实现基于注意力机制并使用Transformer模型的机器翻译实现机器翻译，并对一些必要的储备知识进行探索，如1. 编码器-解码器结构； 2. 束约束；3. 注意力机制；4. 基于带注意力机制的机器翻译；5. 基于Transformer实现机器翻译（日译中）；6. 总结
机器翻译评价指标BLEU介绍
热门推荐
g11d111的博客
08-28 6万+
最近需要设计一个机器翻译相关的试验, 其中好多东西都不同, 先从基础的评价指标来吧. 本文翻译自Jason Brownlee的博客[1]. 可能会简化一部分内容, 如有需要请读者直接读原文. 0. 前言 BLEU (其全称为Bilingual Evaluation Understudy), 其意思是双语评估替补。所谓Understudy (替补)，意思是代替人进行翻译结果的评估。尽管这项指标...
BLEU——机器翻译评测
weixin_38792559的博客
12-14 3777
本次BLEU算法的学习参考了东北大学出版的《机器翻译-统计建模与深度学习方法》，代码的学习参考了这篇博客: BLEU算法详解. 目录BLEU算法介绍N-gram 准确率（N-gram Precision）召回率短句惩罚因子（Brevity Penalty, BP）BLEU算法代码实现sentence_bleu语句级的bleu值corpus_bleu语句级的bleu值 BLEU算法介绍 目前使用最广泛的自动评价指标是BLEU。BLEU 是Bilingual Evaluation Understudy的缩写，最
BLEU 评价指标总结
qq_32782339的博客
12-02 8905
Bleu 评测 （一） Bleu通常用来度量一组机器产生的翻译句子集合(candidates)与一组人工翻译句子集合(references)的相似程度。Bleu的具体计算过程看下图： 在这里解释一下：式中的n 为当前匹配n-gram的长度，这里的N=4(也可以是其1,2,3),是n-gram匹配权重，BP是用来对过短候选翻译的惩罚系数，是利用当前n-gram匹配对候选机器翻译基于...
评价指标BLUE了解
Airstudy的博客
08-26 2080
BLEU指标根据生成的句子与人工参考句子之间的词、短语和n-gram匹配来计算模型的性能。因此，实际中通常使用bleu-1，bleu-2，bleu-3和bleu-4等四个BLEU指标来计算短语匹配的精度。然而，它存在着一些缺点，比如可能会倾向于短而不是长的句子，不能很好地衡量语法和语义问题，因此，通常需要结合其他评估指标一起使用来评估模型性能。BLEU指标具有较好的可解释性，直接基于n-gram重叠度来衡量生成文本和参考文本之间的相似度。获取参考文本中每个n元组的最大数量，并视为生成文本的最多可能匹配数。
BLEU 分数和FLOPs指标
m0_51200050的博客
06-30 660
BLEU（Bilingual Evaluation Understudy）分数是一种用于评估机器翻译结果质量的指标。它通过比较机器翻译结果与一个或多个参考翻译之间的相似度来衡量翻译的准确性。BLEU 分数的值通常在 0 到 1 之间，值越高表示翻译质量越好。FLOPs（Floating Point Operations）是衡量计算复杂度和性能的指标，表示模型在训练或推理过程中所需的浮点运算次数。FLOPs 越低，表示计算资源消耗越少，训练成本越低。
机器翻译评测----BLEU算法
weixin_45337615的博客
09-10 1692
BLEU算法前言N-gram召回率短句惩罚因子BLEU实例 前言 BLEU(bilingual evaluation understudy)算法是由IBM提出的用来自动评测机器翻译质量的算法。 N-gram N-gram的N指连续的N个word用来匹配，即比较译文和参考译文之间N组词的相似占比。 例如：   原文：今天天气不错   机器译文：It is a nice day today   人工译文：Today is a nice day 如果用1-gram匹配的话： 每1个word用来匹配，最终5个wo
机器翻译的评价指标——bleu
m0_57957153的博客
09-16 2317
机器翻译指标 bleu
[DeeplearningAI笔记]序列模型3.6Bleu得分/机器翻译得分指标
泛用演化计算、通用人工智能优化模型
09-01 1465
5.3序列模型与注意力机制 觉得有用的话,欢迎一起讨论相互学习~Follow Me 3.6Bleu得分 在机器翻译中往往对应有多种翻译，而且同样好，此时怎样评估一个机器翻译系统是一个难题。 常见的解决方法是通过BLEU得分来进行判断 评价机器翻译Evaluating machine translation Papineni K. Bleu:A Method for ...
机器翻译评价指标
最新发布
04-03
### 机器翻译评估标准 #### BLEU (Bilingual Evaluation Understudy) BLEU 是一种广泛使用的自动评估指标，主要用于衡量机器翻译的质量。它通过比较生成的翻译结果与参考译文中的 n-gram 匹配情况来计算分数。具体来说，BLEU 计算的是精确度得分，并引入了惩罚机制以应对过短的翻译输出[^1]。 以下是使用 Python 实现 BLEU 的简单代码示例： ```python from datasets import load_metric bleu = load_metric("bleu") predictions = [["the cat is on the mat"]] references = [["the cat is lying on the mat"]] result = bleu.compute(predictions=predictions, references=references) print(result) ``` 尽管 BLEU 广泛应用于英语和其他语言对之间，但在中文环境中可能需要额外的分词工具支持[^3]。 --- #### ROUGE (Recall-Oriented Understudy for Gisting Evaluation) ROUGE 主要用于评估文本摘要质量和自然语言生成任务的表现。它的核心思想在于统计生成文本和参考文本之间的重叠部分，可以是连续片段（skip-bigram）、n-grams 或最长公共子序列等[^2]。对于机器翻译而言，ROUGE 同样能够提供关于翻译质量的部分见解。 下面是一个简单的 ROUGE 使用案例： ```python from rouge_score import rouge_scorer scorer = rouge_scorer.RougeScorer(['rouge-1', 'rouge-l'], use_stemmer=True) scores = scorer.score( "The quick brown fox jumps over a lazy dog.", "The fast brown fox leaps over a sleepy hound." ) for key, value in scores.items(): print(f"{key}: {value}") ``` 需要注意的是，虽然 ROUGE 更关注召回率而非精度，但它仍然无法全面反映语义层面的一致性。 --- #### METEOR (Metric for Evaluation of Translation with Explicit ORdering) METEOR 被设计成更贴近人类判断的一种方法论。除了考虑单词级别的匹配外，还加入了同义词替换、词形还原等功能模块。这种方法试图克服其他传统评分体系仅依赖表面形式匹配所带来的局限性。 实现 METEOR 可能涉及如下操作： ```python import nltk from meteor_score.meteor_score import meteor_score hypothesis = ["this", "is", "a", "test"] reference = ["only", "a", "test"] score = meteor_score([reference], hypothesis) print(score) ``` 然而值得注意的是，由于 METEOR 需要访问外部资源库来进行诸如词林映射等工作，因此其运行效率通常低于前两者。 --- ### 局限性和改进方向 上述提到的各种自动化评测手段都存在一定的缺陷，例如它们均未能有效解决全局连贯性的考量以及潜在的语言偏差等问题。未来的研究可能会集中在开发更加智能化的方法上，这些新方案或许会更多地利用深度学习模型或者强化交互反馈机制来提升评价效果。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值