反向传播算法 实现注意 from 吴恩达的机器学习

展开参数

梯度检验

代价函数的偏导数近似于：

当是一个向量时，我们需要对偏导数进行检验

通常：

计算出的偏导数存储在矩阵 中。检验时，我们要将该矩阵展开成为向量，同时我们也将矩阵展开为向量，我们针对每一个都计算一个近似的梯度值，将这些值存储于一个近似梯度矩阵中，最终将得出的这个矩阵同 进行比较

梯度检验正确后，我们需要将梯度检验关闭，避免占用资源。

随机初始化

将初始化为区间内的数，如下：

If the dimensions of Theta1 is 10x11, Theta2 is 10x11 and Theta3 is 1x11.

Theta1 = rand(10,11) * (2 * INIT_EPSILON) - INIT_EPSILON;
Theta2 = rand(10,11) * (2 * INIT_EPSILON) - INIT_EPSILON;
Theta3 = rand(1,11) * (2 * INIT_EPSILON) - INIT_EPSILON;