weixin_55297729的博客

原创 self-attention学习笔记

以购物软件中的商品查询机制为例，输入query，会返回得分从高到低的排序。总分又相似度和做value计算得出，相似度又由query和key做计算得出。用一个token的query和另一个token的key相乘获取两个token的相似度。