31、自然语言处理：从神经机器翻译到聊天机器人及未来趋势

自然语言处理：从神经机器翻译到聊天机器人及未来趋势

1. 计算注意力机制

在编码器和解码器的每个位置计算注意力值时，我们定义了一个函数 attn_layer(...) 。该函数用于为解码器的单个展开步骤计算编码器所有位置（即 num_enc_unrollings ）的注意力。 attn_layer(...) 函数接受两个参数：
- h_j_unrolled ：这是在将源句子输入编码器时计算得到的 num_enc_unrolling 个编码器 LSTM 单元输出，是一个包含 num_enc_unrolling 个张量的列表，每个张量的大小为 [batch_size, num_nodes] 。
- s_i_minus_1 ：前一个解码器的 LSTM 单元输出，是一个大小为 [batch_size, num_nodes] 的张量。

具体计算步骤如下：
1. 创建一个大小为 [num_enc_unrollings * batch_size, num_nodes] 的单个张量：

enc_logits = tf.concat(axis=0, values=h_j_unrolled)

2. 计算 W_a * s_i_minus_1