qwexdl的博客

一、self-attention中的mask 1.1 attention的mask. 1.1.1 举例 q_mask = [1, 1, 1, 1, 0, 0] # seq_len. 其中1表示有效, 0表示无效. # self-attention的score为 [seq_len, seq_len] q_mask = tf.expand_dims(q_mask, axis=-1) # [seq_len, 1] k_mask = tf.reshape(q_mask, [1, -1]) # [1, s

一、最简单的attention 1.1 结论 公式如下: S = softmax(QKT) C = SV 1.2 代码实现 下面是Seq2Seq Attention的简易版。 def attention_layer(query, key,value): query = tf.expand_dims(query, axis=1) # [bs, 1, hs] score = tf.nn.softmax(tf.matmul(query, key, transpose_b=True), axis=-1