张小白的博客

一般问题会有两类：线性与非线性。线性问题，顾名思义，会有某种关联的线性因果关系，给一个输入，肯定会对应一个输出；但是实际生活中的问题却不会总是简单的线性问题，对于毫无规则的非线性问题，人们也想到了解决方法，建模。通过模拟人脑的构造与各种神经元的传递，人们逐渐可以解决一些非线性问题。于是，人工神经网络就出现了，循环神经网络就出现了，深度学习也登台了，tensorflow就是深度学习的开发工具。ten...

为了解决非线性问题，人们模拟了生物大脑的结构与神经元的传递，用来进行非线性系统的实验操作，也就是人工神经网络（ANN），但传统神经网络由于层与层之间全为全连接层，隐藏层上无节点连接，所以无法通过先前推断后续，于是循环神经网络（RNN）出现了，这种节点成环定向连接的人工神经网络，在所需推断和信息间隔较近的时候，可以完成由先前到后续的过程，但是间隔一大，这种应用记忆信息的能力就削弱了，也就是梯度弥散。...

上次提到水平线是无法实现信息的删减与添加的，但是门却可以解决这个问题。介绍门之前，先介绍sigmoid层：一个输出向量在0~1之间的层。门有三类：遗忘门，输入门，输出门。遗忘门的作用是控制记忆单元，决定上一时刻的状态保留多少到当前时刻，通过一个sigmoid层实现遗忘部分，那个0~1之间的映射就是记忆衰减系数，遗忘门的存在也是LSTM能够记住长期记忆的保证。输入门的作用是决定保留多少当前时刻的输入...