基于Transformer实现机器翻译（日译中）

原理：

Transformer是一种基于注意力机制的深度学习模型，最初由Google在2017年提出。它在机器翻译任务中取得了很大成功，因为它能够在处理长距离依赖关系时表现优异，并且可以并行化处理。

在机器翻译任务中，Transformer模型通常包括编码器和解码器两部分。编码器将源语言句子编码成一个上下文表示，解码器则根据这个上下文表示生成目标语言句子。Transformer模型的核心是自注意力机制（self-attention），它允许模型在处理每个单词时都能够关注输入序列中的所有其他单词，从而更好地捕捉语言之间的依赖关系。

在机器翻译任务中，Transformer模型会通过多层堆叠的编码器和解码器来实现翻译过程。在训练过程中，模型会根据源语言句子生成目标语言句子，并通过最小化预测值与真实值之间的差距来优化模型参数。在推理过程中，模型会根据编码器生成的上下文表示和解码器的预测逐步生成目标语言句子。

总的来说，Transformer模型通过引入自注意力机制和多头注意力机制，实现了对长距离依赖关系的建模，从而在机器翻译任务中取得了较好的效果。

主要特点
 自注意力机制：
自注意力机制使模型能够在处理每个单词时，考虑到句子中的所有单词，从而更好地理解上下文。
这一机制有助于捕获长距离依赖，特别适用于处理具有复杂结构的句子。
 并行化处理：
与传统的循环神经网络（RNN）不同，Transformer不需要按顺序处理数据，因此可以高效地利用现代计算硬件进行并行计算。
这显著提高了训练速度，尤其是在处理大规模数据集时。
 编码器—解码器结构：
Transformer遵循编码器—解码器结构，其中编码器用于理解输入数据，解码器负责生成输出。
这种结构使得模型不仅可用于翻译任务，还可用于文本摘要、文本生成等应用。
 无需递归或卷积层：
Transformer完全依赖于自注意力机制和Feed-Forward神经网络，不需要传统的卷积层或递归层。
这使得模型结构简单而有效，减少了需要调整的超参数数量。
 可扩展性和灵活性： 
Tr