solejay

文章目录RNNLSTMRNN 的训练RNN 应用RNN对于 Slot Filling 问题，需要识别出句子中的某些特定词，比如我要在十一月二号到台北去，识别出目的地是台北，时间是十一月二号。对词进行编码的方法可以采用 1-of-N encoding 和 word hashing 或者其他高级方法，词语表征成向量后丢到神经网络里判断词属于每个 slot 的概率，比如台北属于目的地的概率和属于时间...

Attention 就是对输入整体的各个部分分配不同的权重，每一个位置的输出由输入的不同权重加权求和得到attention 工作实质：对应于机器翻译时阶段 1 ：zzz 对应于 Query，hhh 对应于Key，Q 与 K 进行相似度计算得到权值阶段 2：对于求得的 α\alphaα 进行 softmax 归一化得到不同权重阶段 3：Attention Value 等于 权重 α^\hat \alphaα^ 和输入 hhh 对应的乘积求和。这里 hhh 对应于 Valuea

传统 RNN 存在问题处理 Seq2seq 最常用的就是 RNN。RNN 的问题在于无法 Parallel (并行处理)，可以用 CNN 解决这个问题，但是 CNN 能够考虑的特征向量非常少，而解决这个问题又需要通过再次叠加 CNN 来解决。为了解决这个问题，引入了 Self-Attention Layer，其输入是一个 sequence 输出也是一个 sequence，能够达到跟 RNN 一样的效果，输出 b 可以并行计算出来。Self-attention 机制其技术最早出现的那篇文章就是 A