机器学习基础 - [第6章：神经网络参数的反向传播算法]（6）训练一个神经网络

1、神经网络架构的选择

神经网络输入层的单元数是特征的维度，输出层的单元数是类别的数量。
比较合理的神经网络架构是：
（1）只有一个隐藏层；
（2）如果隐藏层大于1，那么每层的单元数最好相等，并且越多越好。

2、如何训练一个神经网络？

训练一个神经网络的步骤如下：

• （1）随机初始化权重；
• （2）对每一个输入样本$x^{(i)}$，执行前向传播，得到$x^{(i)}$的假设值；
• （3）实现对代价函数的计算；
• （4）实现后向传播来计算代价函数对各个参数的偏导数；
• （5）使用梯度检测来比较使用后向传播和使用梯度数值估计得到的偏导数；
• （6）使用带有后向传播的梯度下降算法或其他高级优化算法来最小化代价函数。
  
  注意，神经网络的代价函数一般都是非凸函数，所以使用优化算法得到的一般是局部最优值。