attention(注意力机制)原理和pytorch demo
说明
demo源自吴恩达老师的课程,从tensorflow修改为pytorch,略有不同。
RNN的局限性
原始数据是一个字符串:friday august 17 2001,长度是21(包含空格),为了简便这里把每一个字符用一个onehot向量表示。于是数据转化为21个onehot向量。依次输入到一个RNN网络(可以是普通RNN、也可以是LSTM和GRU),最终得到一个向量(即RNN网络中的隐状态)。如果此时用这个向量作为整个字符串的编码信息直接去解码,很可能会丢失一些信息,尤其是输入更长的字符串时,
原创
2020-09-21 23:54:45 ·
13916 阅读 ·
1 评论