神经网络

优快云这几天坏了ヽ(｀Д´)ﾉ︵ ┻━┻ ┻━┻
##一. 神经元模型
神经网络中最基本的成分：神经元模型
神经元模型： 线性模型+激活函数

线性模型+符号函数 = 感知机
线性模型+sigmoid函数 = 逻辑回归
##二 . 多层前馈神经网络
定义： 每层神经元与下一层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接。

假设第$l-1$层共有$m$个神经元，第$l$层共有$n$个神经元，
则第$l$层的线性系数$W$组成了一个$n\times m$的矩阵$W^l$,
第$l$层的偏置$b$组成了一个$n\times 1$的向量$b^l$ ,
第$l-1$层的的输出$a$组成了一个$m\times 1$的向量$a^{l-1}$，
第$l$层的的未激活前线性输出$Z$组成了一个$n\times 1$的向量$Z^l$,
激活函数$\sigma$ 可以有多种选择。
sigmoid tanh ReLu
第$l$层的的输出$a$组成了一个$n\times 1$的向量$a^l$。则用矩阵法表示，
第$l$层的输出为：
$$a^l=\sigma (Z^l)=\sigma (W^l{a}^{l-1}+b^l)$$
前向传播算法：
从输入层开始，一层层的向后计算，一直到运算到输出层，得到输出结果$a^L$。
##三. 反向传播算法（BackPropagation）

训练数据集 D={(x1,y1),(x2,y2),..(xm,ym)}D=\{(x_1,y_1),(x_2,y_2),..(x_m,y_m)\}D={(x1​,y1​),(x2​,y2​),..(xm​,ym​)}
损失函数最小化， 神经网络可选的损失函数有很多： 平方损失函数，交叉熵 ， 对数似然。
待求参数是每一个层与层之间的权值矩阵$w^l$和偏置矩阵$b^l$。
这里以平方损失函数为例。$a^L$ 是输出层的结果。
$$E(W,b,x,y)=\frac{1}{2}\Vert a^L-y{\Vert }_2^2$$
$$=\frac{1}{2}\Vert \sigma (W^L{a}^{L-1}+b^L)-y{\Vert }_2^2$$
求导
$$\frac{\partial E}{\partial W^L}=\frac{\partial E}{\partial a^L}\frac{\partial a^L}{\partial Z^L}\frac{\partial Z^L}{\partial W^L}=(a^L-y)\odot {\sigma }^{{}^{\prime }}(Z^L)(a^{L-1}{)}^T$$
$$\frac{\partial E}{\partial b^L}=\frac{\partial E}{\partial a^L}\frac{\partial a^L}{\partial Z^L}\frac{\partial Z^L}{\partial b^L}=(a^L-y)\odot {\sigma }^{{}^{\prime }}(Z^L)$$
其中$\odot $表示Hadamard积，矩阵的对应元素相乘。<fontcolor=red>权值矩阵先影响到输出层神经元的输入$Z^{L$，再影响到输出层神经元的输出$a}L$，然后影响到损失函数$E$。
由此我们算出了输出层的梯度，那如何计算下一层，下下一层的梯度呢？
反向传播：从输出层开始，一层一层往下计算

$$\frac{\partial E}{\partial W^{L-1}}=\frac{\partial E}{\partial Z^L}\frac{\partial Z^L}{\partial Z^{L-1}}\frac{\partial Z^{L-1}}{\partial W^{L-1}}$$
第一项就是上面$L$层梯度链式法则中前两项的乘积
第二项 很容易算
$$Z^L=W^L{a}^{L-1}+b^L=W^L\sigma (Z^{L-1})+b^L$$
第三项 很容易算
$$Z^{L-1}=W^{L-1}{a}^{L-2}+b^{L-1}$$
由此算出了$L-1$层的梯度，如此递推
$L-2$层
$$\frac{\partial E}{\partial W^{L-2}}=\frac{\partial E}{\partial Z^{L-1}}\frac{\partial Z^{L-1}}{\partial Z^{L-2}}\frac{\partial Z^{L-2}}{\partial W^{L-2}}$$
第一项 是上面的$L-1$层梯度链式法则前两项的乘积
第二项 第三项 同上 很好算
根据梯度下降算法（SGD， MBGD）就能学出神经网络了。(╯°O°)╯( ┻━┻再掀一次