messyking的博客

注意力机制是一个很不错的科研创新点方向，但是没有系统记录过学习过程，这里记录科研中遇到的各种注意力机制。

1.背景问题(1).如果只是单纯地把卷积层和池化层进行堆叠，造成的问题就会有梯度消失和梯度爆炸，梯度消失是指当在某一层进行BP的时候，误差为一个小于零的数，那不断相乘，就会趋近于零。梯度爆炸则是指某一层的开始误差都是大于1的数，直接相乘就会导致梯度爆炸。这种情况的处理方法就是对数据进行标准化处理和bn标准化处理特征图。(2).退化问题就是本来训练到20层已经达到了99%，但是30层训练之后的正确率反而小于99%。resnet通过残差结构(就是那条捷径)解决了退化问题，使之层数增加，准确率是一直增加。所以

一、背景1. 基于深度学习的方法本质上都有两个缺点（1）模型性能的保证依赖于大量带标注的训练数据；（2）是这些方法往往缺乏对能起指导作用的先验知识加以利用。2. 精细化识别技术的主要难点（1）难以区分的类间差别：对于从相似类别得到的物体，很多情况下他们的视觉差别是非常微小的，有些甚至是人都难以区分；（2）明显的类内差异：对于从同一类别得到的物体，由于尺度、视角、遮挡以及多样化的背景，这些物体呈现出非常大的视觉差异。3. 两种神经网络一种是全连接神经网络，如受限玻尔兹曼机[1]、深度置信网络

写在前面，RNN是经典的用来处理序列数据的神经网络，这里花了点时间学习了一下，顺便非常粗糙地了解了一下NLP的内容，因此在这里整理了一下笔记。1、知识图谱针对客观存在的信息，抽取置信度较高的加入到实体库，然后用（实体1，关系，实体2）、（实体、属性，属性值）这样的三元组来实体库间的关系，每一个三元组就是一个“知识”，知识图谱就是若干知识的连接网络。2、NLP与RNN● 序列数据比如说“我手机坏了，我想买个新苹果！”，这句话中的“苹果”指的是手机而不是真正的苹果，那我们之所以会认为是手机，是因.