Eve_Shieh的博客

原文链接：https://blog.youkuaiyun.com/cdlwhm1217096231/article/details/95060636这里写目录标题1.Attention机制基础知识1.1注意力分布1.2 加权平均2.其他类型的注意力机制2.1 硬注意力机制2.2 键值对注意力2.3 多头注意力2.4 自注意力模型(Self Attention)3.实战------以Seq2Seq网络进行法语到英语的翻译为例进行说明1.Attention机制基础知识用X = [ x1 , ⋯   , xN ] 表示

输入输出1.输入2.输出2.1每个向量是个标签，输入多少个，输出多少个2.2整个序列是一个标签，比如说情感分析2.3输出标签数量有model决定，比如说翻译Sequence Labeling自注意可以叠加计算关联的程度 α。常用的方法是点积，也是Transformer里用的方法。计算关联性：α1,2=q1∙k2，向量a1和向量a2的关联性。向量a1也会计算和自己的关联性。q1=Wq*a1，向量a1乘然后进行Soft-max或者relu操作得到α′α是知道哪些向量跟a1最有

参考链接：一级标题二级标题三级标题四级标题五级标题六级标题

参考链接：https://www.toutiao.com/i6432188985530909186/

传统神经网络结构的缺陷从传统的神经网络结构我们可以看出，信号流从输入层到输出层依次流过，同一层级的神经元之间，信号是不会相互传递的。这样就会导致一个问题，输出信号只与输入信号有关，而与输入信号的先后顺序无关。并且神经元本身也不具有存储信息的能力，整个网络也就没有“记忆”能力，当输入信号是一个跟时间相关的信号时，如果我们想要通过这段信号的“上下文”信息来理解一段时间序列的意思，传统的神经网络结构就显得无力了。与我们人类的理解过程类似，我们听到一句话时往往需要通过这句话中词语出现的顺序以及我们之前所学的关于这

神经网络浅讲：从神经元到深度学习参考文章：https://www.cnblogs.com/subconscious/p/5058741.html前言神经网络是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术。这是一个包含三个层次的神经网络。红色的是输入层，绿色的是输出层，紫色的是中间层（也叫隐藏层）。输入层有3个输入单元，隐藏层有4个单元，输出层有2个单元。1.设计一个神经网络时，输入层与输出层的节点数往往是固定的，中间层则可以自由指定；2.神经网络结构图中的拓扑与箭头代表着预测过程

。