深度学习笔记（4）

越来越靠近深度学习了~

1、在将神经网络应用都分类问题时，所分的类别只影响输出层节点的个数，而不影响隐藏层节点的个数，同时当前没有一个隐藏层结构的标准。

2、为了计算误差，将类别名称转换映射成一个类别向量，只在相应的节点上生成“1”，这种表达技术称为“one-hot编码（独热编码）”或者“1-of-N编码”。

3、一般而言，多分类器大都采用Softmax函数作为输出节点的激活函数，Softmax函数保持输出值之和为1，并且将单个输出值的范围限制在0~1之间，其中。

4、深度学习是一种利用深度神经网络框架的机器学习技术。深度神经网络是一种包含俩层以上隐藏层的多层神经网络。随着神经网络的层数增多，神经网络无法得到恰当的训练，其性能将会越差。

5、在深度神经网络训练算法中，反向传播面临着梯度消失、过拟合以及计算量增加是常见的难题。

6、解决梯度消失问题的典型方法是将整流线性单元（Rectified Linear Unit,ReLU）函数作为激活函数，其中ReLU函数.需要注意的是，由于ReLU函数对初始权重比较敏感，故偶尔会因得不到恰当的训练而产生错误的输出，这在Sigmoid激活函数上是绝对不会发生的。

7、解决过拟合问题的代表性方案是节点丢弃（dropout），神经网络只训练那些随机挑选的节点，而不是全部节点，即以某一概率随机选择节点，当将其输出设置为0时，这些节点的活动就被暂停了。该算法在持续转换节点和权重，有效防止了过拟合。另外，给代价函数增加能够提供权重大小的正则项也能够防止过拟合，因为该方法能够尽可能地简化神经网络的结构。此外，使用大量的训练数据也非常有帮助，因为这样能够降低特定数据的潜在偏差。参考https://www.cnblogs.com/eilearn/p/9203186.html