Stanford 机器学习-Neural Networks learning

1. Cost Function

字母含义：
$n_l$表示网络的层数
$L_l$表示第l层
$W_{ij}^{(l)}$表示第l层第j单元到第l+1层第i个单元之间的连接参数
$b^{(l)}_i$表示是第l+1层第i单元的偏置项
$a^{(l)}_i$表示是第l层第i单元的激活值（输出值）
$z^{(l)}_i$第l层i单元输入加权和（包括偏置单元）
$S_l$表示第l层的neuron个数。
- 二分类：$S_l$=1,y=0或者1
- 多分类问题 $S_l$=K, $y_i$ = 1表示分到第i类；（K>2）

1.1两个cost function函数

其中前半部分是预测与真实值的距离，后半部分是用于正则化的bias项

$\frac {\mid\vec w^T\vec x+b\mid} {\lVert \vec w\rVert}$ 任意点$\vec x$到超平面$(\vec w, b)$的距离。
公式$\gamma=\frac{2}{\|\vec w\|}$表示间隔
向量机的数学模型:$min_(\vec w,\vec b) \frac{1}{2}*\|\vec w\|^2$，使得$y_i(\vec w^T\vec x_i+b)\ge1,i=1:m$。

2. Backpropagation Algorithm

我们的目的是最小化J(Θ)
下面公式中的第一项 J(W,b) 是一个均方差项。第二项是一个规则化项（也叫权重衰减项），其目的是减小权重的幅度，防止过度拟合。
权重衰减参数$\lambda$用于控制公式中两项的相对重要性。

通过forward propagation,首先算出training dataset 在神经网络上的各层输出值：
前向传播的公式:
$z^{(l+1)} = W^l\cdot a^l + b^l$
$a^{(l+1)} = f(z^{(l+1)})$

根据$J(W,\theta)$求偏导，可得出第$n_l$层和第i层的$\delta_j^{(l)}$，$\delta_j^{(l)}$表示实际值与网络产生的输出值的差异。
公式推导地址
对于第$n_l$层：
$\delta_i^{(n_l)} = -(y_i - a_i^{(n_l)})\cdot f'(z_i^{(n_l)})$
对于第l层：
$\delta_i^{(l)} = (\sum_{j=1}^{s_{l+1}}W_{ji}\delta_j^{l+1})f'(z_i^{(l)})$

反向传播算法可以表示为以下几个步骤：
1. 进行前馈运算，求出所有层的激活值和加权和。
2. 对于输出层，计算$\delta^{(n_l)} = -(y - a^{(n_l)})\cdot f'(z^{(n_l)})$
3. 对于其他层，计算$\delta^{(l)} = ({(W^{(l)})}^T\delta^{(l+1)})\cdot f'(z^{(l)})$
4. 计算最终所需要的偏导数的值：
$\nabla_{W^{(t)}}J(W,b;x,y) = \delta^{(l+1)}{(a^{(l)})}^T$
$\nabla_{b^{(t)}}J(W,b;x,y) = \delta^{(l+1)}$
在梯度下降法一次迭代中:
1. 对于所有l，另$\Delta W^{(l):=0}$,$\Delta b^{(l):=0}$
2. 对于i=1:m
使用反向传播算法计算$\nabla_{W^{(t)}}J(W,b;x,y)$和$\nabla_{b^{(t)}}J(W,b;x,y)$
计算$\Delta W^{(l)} := \Delta W^{(l)} + \nabla_{W^{(t)}}J(W,b;x,y)$
计算$\Delta b^{(l)} := \Delta b^{(l)} + \nabla_{b^{(t)}}J(W,b;x,y)$
3. 更新权重参数
$W^{(l)} = W^{(l)} - \alpha[(\frac{1}{m} \Delta W^{(l)}) + \lambda W^{(l)}]$
$b^{(l)} = b^{(l)} - \alpha[\frac{1}{m} \Delta b^{(l)}]$

3 Backpropagation Intuition

简述了BP算法
δ分量都等于后面一层所有的δ加权和，其中权值就是参数Θ。
$\theta_j^{(l)} = \sum_{k=1}\theta_{kj}^{(l)}\cdot\theta_k^{(l+1)}$

D作为cost function对参数的求导结果：
$\frac{\partial}{\partial\theta_{ij}^{(l)}} = D_{ij}^{(l)}$

4 unrolling parameters

首先将各层向量连接到一个vector里面传入function，然后展开，并进行计算。

5 gradient checking

主要就是通过gradient checking的方式，检查我们的BP算法是否正确。

6 Random Initialization

在初始化Theta值是，不能用0来初始化，而是随机初始化。

7 Putting It Together

简单叙述了如何选取隐层的数目和每层的节点数。

训练神经网络的步骤
1. 初始化权重
2. 对所有的$x^{(i)}$进行forward propagation得到$h_{\theta} (x^{(i)})$
3. 实现cost function函数
4. 实现backprop 得到partial derivative
5. 用gradient checking来检验backprop算法是否正确，在训练前要disable
6. 通过梯度下降等算法最小化$J(\theta)$
梯度下降法不能保证得到全局最优解，但一般得到的结果都会比较好
对所有的training example进行训练