本文详细介绍了注意力机制的核心概念，包括注意力池化、注意力分数的计算方法（如高斯核和softmax），以及在seq2seq模型中的应用，如可加性和点积注意力。讨论了如何通过神经网络和多层感知机实现注意力权重的计算，以及注意力在序列到序列模型中的关键作用。
注意力池化
-
f ( x ) = ∑ i α ( x , x i ) y i f(x)=\sum_i\alpha(x,x_i)y_i f(x)=∑iα(x,xi)yi 其中 α ( x , x i ) \alpha(x,x_i) α(x,xi)是注意力权重
-
NW核回归 注意对x接近的key K是核函数，离得越近越大
f ( x ) = ∑ i = 1 n K ( x − x i ) ∑ j = 1 n K ( x − x j ) y i f(x)=\sum_{i=1}^n\frac{K(x-x_i)}{\sum_{j=1}^nK(x-x_j)}y_i f(x)=i=1∑n∑j=1nK(x−xj)K(x−xi)yi
-
当使用高斯核 K ( u ) = 1 2 π exp ( − u 2 2 ) K(u)=\frac1{\sqrt{2\pi}}\exp(-\frac{u^2}2) K(u)=
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
