鱼书学习8

神经网络中，超参数的取值非常重要。

不能用测试数据评估超参数的性能，是因为如果使用测试数据调整超参数，超参数的值会对测试数据发生过拟合。

调整超参数时，必须使用超参数专用的确认数据。用于调整超参数的数据，一般称为验证数据。

进行超参数的最优化时，逐渐缩小超参数的“好值”的存在范围非常重要。超参数的范围只要“大致地指定”就行了。

在超参数的最优化中，注意深度学习需要很长的时间，因此在超参数的搜索中，需要尽早放弃那些不合符逻辑的超参数。

超参数的最优化内容，归纳如下:1,设定超参数的范围；2，从设定的超参数范围中随机采样；3，使用步骤1中采样到的超参数的值进行学习，通过验证数据评估识别精度；4，重复之前两步，缩小超参数的范围。

在超参数的最优化中，如果需要更精炼的方法，可以使用贝叶斯最优化。