qq_39321513的博客

目录介绍Self-attention通俗理解矩阵运算的角度Multi-head Self-attention下面以2个头为例融合位置信息self-attention 的应用1. NLP（Transformer 和 Bert···）2.语音3.图像4.图、网络（graph）Self-Attention v.s. CNNself-attention v.s. RNNSelf-Attention 的变形介绍我根据台大李宏毅21年机器学...

目录（配合文章底部的视频一起食用效果更佳，本篇笔记就是按照视频目录来的，有些潦草，望勿怪罪~）1. attention背景：为了解决遗忘和对齐问题2. 权重系数求法3. score函数4. 模型结构分析5. 模型公式的推导（上）6. 模型公式的推导（下）7.对齐机制8. 自注意力介绍9.自注意力的理解1. attention：为了解决遗忘和对齐问题2. 权重系数求法如何找到一个向量q_t与h_1,h_2,h_3,h_4作比较？ 【两种方式：一种是将h...