神经网络|入门|思考笔记 1

机器学习基础入门：

机器学习常用算法：

1. 监督学习——有数据、有标签；e.g.神经网络 √
2. 非监督学习
3. 半监督学习——少量有标签 + 大量无标签
4. 强化学习
5. 遗传算法

人工神经网络：

人工神经网络： 是一种运算模型，有大量的结点和结点之间的联系。神经元（结点）固定不可更换，通过修改神经元的敏感程度，来达到理想的输出效果（误差反向传递）

神经层：
input layer：输入层，直接接受信息，负责传递接受的信息
output layer：输出层，输出结果
hidden layer：隐藏层，加工处理并传述信息

学习经验： 先给人工神经网络一堆数据让其学习，得到错误的学习答案和正确的学习答案。通过错误的答案反向推回去，在每一层的神经元上进行改动，以保证下次的神经网络识别的正确性增加。如何实现学习？ 每个神经元都有属于自己的刺激函数，被激活的神经元会将信息传递下去；若出现错误，会调整不同神经元的函数的的参数——一些会迟钝、一些会敏感，使预测得到正确答案。

CNN（卷积神经网络）：Convolution Neural Network

用途： 图片、语言识别

卷积： 并非对每个像素信息的输入进行处理，而是对每块进行处理。加强连续性，每经过一次卷积，都会加深神经网络对图像的理解。“每块”图像的采集，使用批量过滤器

池化： Pooling，解决每经过一次卷积，神经元会无意识的丢失信息的问题。（卷积只负责卷积，不压缩长宽，保留更多信息，压缩交给池化）

RNN（循环神经网络）：Recurrent Neural Network

在有序数据上的学习,t+1时刻的学习是t和t+1共同决定，这样就形成了“记忆”

LSTM（长短期记忆）：Long-Short Term Memory

是RNN的形式之一

梯度消失： 若w<1，不断地*误差，误差就会在回到初始时间的数据时接近于0，相当于消失。

梯度爆炸： 若w>1，误差会越来越大。（这就是普通RNN无法回忆起久远记忆的原因）

–若输入十分重要，就会将输入按照重要程度写入“主线”
–若有些“支线”改变主线走向，忘记控制就会将之前的忘记，替换成新的
–输出会看“主线”和“支线”，查看到底输出什么

ConvLSTM：Convolution-LSTM

=CNN+LSTM
不仅具有LSTM的时序建模，而且可以像CNN一样刻画局部特征。