qq_40319989的博客

作者：张俊林链接：https://www.zhihu.com/question/68482809/answer/264632289来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。注意力模型最近几年在深度学习各个领域被广泛使用，无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中，都很容易遇到注意力模型的身影。所以，了解注意力机制的工作原理对于关注深度学习技术发展的技术人员来说有很大的必要人类的视觉注意力从注意力模型的命名方式看，很明显其借鉴了人类的注意力机

什么是CNN？我们知道CNN的全称是"Convolutional Neural Network"(卷积神经网络)。而神经网络是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）结构和功能的数学模型或计算模型。神经网络由大量的人工神经元组成，按不同的连接方式构建不同的网络。CNN是其中的一种，还有GAN(生成对抗网络)，RNN（递归神经网络）等，神经网络能够类似人一样具有简单的决定能力和简单的判断能力，在图像和语音识别方面能够给出更好的结果CNN的原理CNN被广泛应用在图像识别领域，那么CNN是如何

1.Encoder-Decoder模型及RNN的实现所谓encoder-decoder模型，又叫做编码-解码模型。这是一种应用于seq2seq问题的模型。那么seq2seq又是什么呢？简单的说，就是根据一个输入序列x，来生成另一个输出序列y。seq2seq有很多的应用，例如翻译，文档摘取，问答系统等等。在翻译中，输入序列是待翻译的文本，输出序列是翻译后的文本；在问答系统中，输入序列是提出的问题，而输出序列是答案。这里复习下Sequence2Sequence任务到底是什么，所谓的Sequence2Seq