深度学习RNN,GRU,LSTM文本生成解码器的训练损失讲解（附代码）

以下以GRU为例讲解RNN作为解码器时如何根据用户、商品特征信息hidden生成评价。

解码器部分代码如下：

class GRUDecoder(nn.Module):  
    def __init__(self, ntoken, emsize, hidden_size):  
        super(GRUDecoder, self).__init__()  
        self.word_embeddings = nn.Embedding(ntoken, emsize)  
        self.gru = nn.GRU(emsize, hidden_size, batch_first=True)  
        self.linear = nn.Linear(hidden_size, ntoken)  
  
        self.init_weights()  
  
    def init_weights(self):  
        initrange = 0.1  
        self.word_embeddings.weight.data.uniform_(-initrange, initrange)  
        self.linear.weight.data.uniform_(-initrange, initrange)  
        self.linear.bias.data.zero_()  
  
    def forward(self, seq, hidden):  # seq: (batch_size, seq_len), hidden: (nlayers, batch_size, hidden_size)  
        seq_emb = self.word_embeddings(seq)  # (batch_size, seq_len, emsize)\  
        output, hidden = self.gru(seq_emb, hidden)  # (batch_size, seq_len, hidden_size) vs. (nlayers, batch_size, hidden_size)  
        decoded = self.linear(output)  # decoded shape = (batch_size, seq_len, ntoken), e.g., (256, 18, 20004)  
        return func.log_softmax(decoded, dim=-1), hidden

在训练时，解码器会有两个输入：一是编码器提取的用户、商品特征，二是用户对商品的评价。

评价是文字，在训练开始前已经转换成了Token ID, 比如I love this item, 每个单词会对应词典里的一个元素并配上ID，转换后就成了向量格式了[5, 64, 89, 13]。·

self.word_embeddings(seq)中的word_embedding是Token向量，它是一个矩阵，行数和词典的元素数量相同，每一行是32维度的词向量（维度是用户设定的，Word2Vec一般用200维度）。这一步像查词典，对着ID从word_embedding取第x行的向量。

output, hidden = self.gru(seq_emb, hidden)的过程如下：

1. 初始状态设置成hidden，即从编码器提取的信息
2. seq_emb则是评价序列，计算从左往右开始，第t个文字的计算会受到[0, t-1]文字的影响，生成output的特征用来预测t+1个文字是什么
   所以，以I love this item为例，代码的评价序列为[bos] I love this item，解码器会收到[bos] I love this，理想情况下，它应该生成I love this item.

下面的代码 体现出序列前面会加上[bos]: