关于测试翻译准确率的相关方法

本文提到的翻译准确率测试指标是BLEU，以及使用Python库-fuzzywuzzy来计算相似度

一、基于BLEU值评估
1.只评估一段话，代码如下

from nltk.translate.bleu_score import sentence_bleu, SmoothingFunction

# 机器翻译结果
machine_translation = "How are you"
# 参考翻译列表
human_translations = ["How have you been lately?"]

# 使用SmoothingFunction.method1
chencherry = SmoothingFunction()

# 计算BLEU分数
bleu_score = sentence_bleu(human_translations, machine_translation, smoothing_function=chencherry.method1)

print(f"BLEU score: {bleu_score:.4f}")

评估结果如下，BLEU分数为0.17，换算为百分比后为17%

2.需要评估多段内容，将待评估的文字统一放入excel，代码如下

import pandas as pd
from nltk.translate.bleu_score import sentence_bleu

# 读取Excel文件
file_path = r"C:\Users\Anita\Desktop\XXX\EN.xlsx"  # excel文件路径
df = pd.read_excel(file_path, engine='openpyxl')

# 对比
references = df['机器翻译结果'].tolist()
candidates = df['参考语料'].tolist()

# 初始化BLEU分数的列表
bleu_scores = []

# 遍历每一对参考文本和候选文本，计算BLEU值
for ref, cand in zip(references, candidates):
    if isinstance(ref, str) and isinstance(cand, str):
        # 空格分词
        ref_words = ref.split()
        cand_words = cand.split()

        # 计算bleu值
        score = sentence_bleu([ref_words], cand_words)
        bleu_scores.append(score)

    else:
        print("参考或候选文本不是字符串类型")

# 打印BLEU值
for i, score in enumerate(bleu_scores):
    print(f"第{i + 1}行的BLEU值为: {score:.4f}")

# 计算平均BLEU值
average_bleu = sum(bleu_scores) / len(bleu_scores)
print(f"平均BLEU值为: {average_bleu:.4f}")

评估结果如下

ps：如果是其他语言，比如中文，建议用其他工具进行分词，如Jieba

二、基于fuzzywuzzy评估

from fuzzywuzzy import fuzz
import pandas as pd

# 读取Excel文件
file_path = r"C:\Users\Anita\Desktop\AIStation\CN-CN.xlsx"  # Excel文件路径
df = pd.read_excel(file_path, engine='openpyxl')

# 初始化一个列表来存储准确率
accuracies = []

# 遍历DataFrame的前几行（根据需要调整行数）
for i in range(12):  # 处理前x行
    value_a = df.iloc[i, 1]  # 获取B列的值
    value_b = df.iloc[i, 2]  # 获取C列的值

    # 使用fuzzywuzzy计算相似度
    similarity_score = fuzz.ratio(str(value_a), str(value_b))  # 将值转换为字符串

    # 计算准确率（相似度直接作为准确率）
    accuracy = similarity_score / 100

    # 将准确率添加到列表中
    accuracies.append(accuracy)

    # 打印当前行的准确率
    # print(f"A{i + 2}和B{i + 2}的对比相似度为: {similarity_score}")
    print(f"B{i + 2}和C{i + 2}的对比准确率为: {accuracy:.2%}")

评估结果如下