18、深入理解Transformer解码器与BERT模型

深入理解Transformer解码器与BERT模型

1. Transformer解码器概述

Transformer旨在处理序列转换任务，如机器翻译。解码器的核心任务是基于编码器对输入数据的表示，逐词生成输出序列。

在处理输入时，以句子 “The nurse performed an echoscopy” 为例，首先进行BERT分词（WordPiece），得到 ['the', 'nurse', 'performed', 'an', 'echo', '##sco', '##py'] 。接着，将其嵌入到一个512 × 768的矩阵中（序列最大长度为512个词元，词嵌入维度为768），并添加位置向量。

Transformer解码器具有自回归特性，即它在生成当前词时，只能依据之前生成的词，不能“窥视”未来的词。在训练过程中，采用教师强制（teacher forcing）的方法，将真实数据输入解码器，以模拟生成过程。同时，解码器的起始位置相对于编码器右移一个词，通过在期望输出序列前添加指定符号来实现。例如，在将 “The nurse performed an echoscopy” 翻译成德语 “Die Krankenschwester führte eine Echoskopie durch” 时，预测 “führte” 时，解码器接收的输入为 “The latent encoded representation for the entire sentence ‘The nurse performed an echoscopy’[START] ‘Die Krankenschwester’”，不会看到 “führte”。

训练完成后，解码器按以