qq_50988647的博客

原创 Attention为什么要除以根号d

我们知道，attention结构中注意力得分的计算公式为，其中分别表示及其维度，那么为什么在计算score的时候要除以呢？这个问题比较考验各位同学的数学功底，我将从自己理解的角度进行分析，欢迎大家评论指正。