【深度学习】深度神经网络原理（上）

神经网络（Neural Network, NN）的拓扑结构

分类如下：
有向非循环图：多层感知机MLP，卷积神经网络CNN
有向循环图：玻尔兹曼机BM，循环神经网络RNN
卷积网络用于处理网格化数据；循环神经网络用于处理序列化数据。

多层感知机(Multi-Layer Perceptron, MLP)

由多层全连接层相连而成，详见CNN不分。
https://www.huaweicloud.com/articles/500af3257273662fa204bcc1f72d054d.html

The theoretical analysis has shown that the MLP constructed with over one hidden layer can approximate any continuous computable function to an arbitrary precision.

循环神经网络(RNN, Recurrent NN)

输入n x d维数据，n为样本数，d是数据的维度。
隐藏层状态为n x h维。
输出为n x q维，一对一，一对多，多对多，多对一。

1. Long Short Term Memory 长短期记忆网络
   LSTM是RNN的一种形式。
   时序输入，前一时间的信息对后一时间的信息有提示或限制；LSTM通过训练记忆时序之间的概率关系。

torch.nn.LSTM(input_size, hidden_size, num_layers)

卷积神经网络（CNN, Convolutional NN）

全连接层、卷积层、池化层、常见的Normalization层

全连接层：对矩阵整体实现线性变换和非线性变换。符号为ip
卷积层：对矩阵局部实现乘加和和非线性变换。符号为conv
池化层：对局部特征进行融合。符号为pool

全连接层

线性变换
$$y=Ax+b$$
非线性变换，如sigmoid函数
$$y=\frac{}{1+e^{-x}}$$