机器学习
关注
分享
扫一扫
upupqlj
这个作者很懒，什么都没留下…
展开
-
注意力机制
原理链接：李宏毅视频 https://www.bilibili.com/video/av26543556?p=2z0z^0z0是可以学习的参数，分别计算z0z^0z0和h1h^1h1、h2h^2h2、h3h^3h3、h4h^4h4的相似性（可以计算余弦相似性，也可以是nn或其它），通过softmax进行归一化得到权重，然后计算c0c^0c0类似地计算出c1c^1c1...原创 2020-03-10 20:41:54 · 295 阅读 · 0 评论 -
注意力机制 pointer network
参考1：李宏毅https://www.bilibili.com/video/av9770302?p=9（上图应该省略了一个归一化层，模型通过标签知道应该(x1,y1)对应的值是最大的，就会学习到这样一个概率分布，这里直接将attention的weight作为output的distribution）把(x1,y1)丢进去产生新的z1,继而产生新的attention的weight...原创 2020-02-19 07:45:40 · 706 阅读 · 0 评论