如何确定隐藏层数和隐藏层单元数

1. hidden layers
   在实践中，通常情况下，3层神经网络的表现会优于2层网络，但更深层的（4、5、6层）很少有帮助。这与卷积网络形成了鲜明的对比，在卷积网络中，深层被认为是一个好的识别系统的极其重要的组成部分（例如，10个可学习层（learnable layers）左右）。

2. hidden units
   越多的hidden units可以带来越复杂的计算能力。
   但是过多hidden units会带来overfitting。
   
   过多hidden units带来的overfitting的解决办法：

• Dropout
• L2 Regularization
  
  在实践中，对复杂的模型，常常添加hidden units并且跟踪Validation Set Error，一直添加直到Validation Set Error开始变大。