[机器学习]神经网络(Neural Network)

神经网络(Neural Network)是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

代价函数
$$J(\Theta )=-\frac{1}{m}\sum _{i=1}^m\sum _{k=1}^{s_L}(y_k^{(i)}\log (h_{\Theta }(x^{(i)}){)}_k+(1-y_k^{(i)})\log (1-h_{\Theta }(x^{(i)}){)}_k)$$其中$x^{(i)}$代表第$i$个样本的输入向量, $h(x^{(i)})$代表第$i$个样本的输出向量, 第$L$代表层数, $s_l$代表第 $l$ 层的单元数, $a_i^{(l)}$代表第 $l$ 层的第 $i$ 个元素。

求解方法

• 反向传播算法(Back propagation Algorithm)
  通过迭代
  $${\Theta }_{ij}^{(l)}={\Theta }_{ij}^{(l)}-\alpha \frac{\partial }{\partial {\Theta }_{ij}^{(l)}}J(\Theta )$$确定参数$\Theta$。

为了保证反向传播算法的正确实施，我们需要进行梯度检验(Gradient Checking)。其具体步骤如下：

1. 从训练集中随机抽取一些样本。
2. 随机初始化参数。
3. 通过前向传播计算损失函数。
4. 分别计算解析梯度与数值梯度。

实现步骤

1. 随机初始化参数。
2. 通过前向传播计算$h_{\Theta }(x^{(i)})$与代价函数$J(\Theta )$。
3. 进行梯度检验。
4. 通过反向传播算法确定参数。