- 博客(2)
- 收藏
- 关注
RSS订阅原创 【动手学深度学习笔记】注意力机制-笔记1
每个感官输入是一个value，不随意线索是个key，每个value会对应一个key。也就是说将给定的query与key进行匹配，引导得出最匹配的value。每一项拿到相对的重要性，与x距离近的值比较重要，加权对yi求和。其思想就是，拿到一个新数据之后，找和它相近的数据的value。这个模型不需要学参数。,xi是一个key，yi是value，x是要查询的query。将告诉kernel带入Nadaraya-Watson核回归，可以发现，相当于做了softmax，再把权重加到yi上面，其中权重称为注意力权重。
2024-02-25 19:44:29
412
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人