NLP实战练手项目之 机器翻译(使用Tatoeba Project英法数据集)

基本原理

机器翻译的基本模型是“序列到序列”模型（Seq2Seq），它是一种通用自然语言模型，可以用于多种任务，例如机器翻译、文本生成和对话生成等。
在机器翻译中，Seq2Seq模型主要包括两个部分：编码器和解码器。编码器将源语言文本逐词转换成一种内部表示（或称为“向量”），解码器则将该向量逐词解码成目标语言文本。

具体而言，编码器会采用采用循环神经网络（RNN）或长短时记忆网络（LSTM）等深度学习模型，将源语言文本的每个词汇转换为向量表示。这些向量可以被视为该词汇在语言中的“特征”，从而将文本转换为一组向量的序列。本文将使用GRU(门控循环单元,RNN的一种，可以解决RNN中不能长期记忆和反向传播中的梯度等问题，与LSTM的作用类似，不过比LSTM简单，容易进行训练)实现编码器。

解码器也采用类似的方法，将目标语言文本的每个词汇转换为向量表示。这些向量可以构成目标语言文本的“特征”，从而将文本转换为一组向量的序列。解码器采用类似的方法，根据前面已经翻译过的词汇和其对应的向量表示，逐词解码出目标语言文本。本文将使用使用注意力机制构建解码器。

让我们开始吧!

数据准备

Tab-delimited Bilingual Sentence Pairs from the Tatoeba Project (Good for Anki and Similar Flashcard Applications)These files can easily be imported into Anki or similar flashcard program.http://www.manythings.org/anki/在上面的链接中下载法语-英语对照数据集

不过该数据集需要我们稍作处理

需要把CC-BY即后面的内容都删掉

# 删除Tatoeba Project的双语句子对中多余的元素
def remove_cc_by_content(input_file_path, output_file_path):
    with open(input_file_path, 'r', encoding='utf-8') as file_read:
        lines = file_read.readlines()  # 读取所有行包括换行符
    
    # 处理每一行，移除"CC-BY"及其后面的内容，并保持每行末尾的换行符
    cleaned_lines = []
    for line in lines:
        if "CC-BY" in line:
            index = line.find("CC-BY")  # 找到"CC-BY"的位置
            # 保留"CC-BY"之前的内容并确保每行以换行符结束
            cleaned_line = line[:index].rstrip('\n') + '\n'
            cleaned_lines.append(cleaned_line)
        else:
            # 如果行中没有"CC-BY"，直接保留原行
            cleaned_lines.append(line)

    # 写入处理后的内容到新文件，确保每行末尾有换行符
    with open(output_file_path, 'w', encoding='utf-8') as file_write: