dx1313113的博客

循环神经网络由于信息传递的容量以及梯度消失问题，实际上也只能建立短距离依赖关系。为了建立长距离的依赖关系，可以增加网络的层数或者使用全连接网络。但是全连接网络无法处理变长的输入序列，另外，不同的输入长度，其连接权重的大小也是不同的。这时，提出了自注意力模型，可以“动态”地生成不同连接的权重。自注意力模型的结构：输入n个，输出也是n个，但是会考虑整个sequence（有context）自注意力机制实际上是注意力机制。

注意力机制是上世纪九十年代，一些科学家在研究人类视觉时，发现的一种信号处理机制。人工智能领域的从业者把这种机制引入到一些模型里，并取得了成功。目前，注意力机制已经成为深度学习领域，尤其是自然语言处理领域，应用最广泛的“组件”之一。这两年曝光度极高的BERT、GPT、Transformer等等模型或结构，都采用了注意力机制。注意力机制实际上就是想将人的感知方式、注意力的行为应用在机器上，是人们在机器学习模型中嵌入的一种特殊结构，用来自动学习和计算输入数据对输出数据的贡献大小。