13、利用深度整流神经网络和概率采样进行文档分类

利用深度整流神经网络和概率采样进行文档分类

深度学习被一些人视为这十年最重要的技术突破之一。近年来，使用整流神经元在性能上可以媲美甚至超越使用双曲正切或Sigmoid神经元，尤其在深度网络中。整流神经元能轻松创建具有真实零值的稀疏表示，这对于像文档词袋表示这种自然稀疏的数据似乎特别合适。本文将研究深度整流网络在文档分类任务中的性能，并通过概率采样方法来解决数据类别不平衡问题。

1. 引言

自深度神经网络（DNN）发明以来，人们对将神经网络（ANNs）应用于各种任务重新产生了兴趣。深度结构在语音、图像等识别任务中带来了显著改进。与传统的浅层ANN分类器只有一个隐藏层不同，深度神经网络由多个隐藏层组成。然而，传统的反向传播算法在训练多层前馈网络时会遇到“梯度消失”和“解释消除”效应等困难。

为了解决这些问题，Hinton等人提出了无监督预训练算法。预训练后，反向传播算法能找到更好的权重局部最优解。但该算法计算成本高，即使使用图形处理器（GPUs）也是如此。此后，人们提出了多种解决方案，其中之一就是深度整流神经网络。

2. 深度整流神经网络

深度整流神经网络（DRNs）对网络中的神经元进行了修改，而非训练算法。由于整流线性单元的特性，DRNs无需预训练就能取得良好效果。整流神经元与标准神经元的区别仅在于激活函数，它们使用整流函数（max(0, x)）而非Sigmoid或双曲正切激活函数。

整流函数具有两个关键特性：
- 硬饱和于0 ：对于负输入，只有部分神经元会在每个隐藏层中激活。例如，当均匀初始化权重时，大约一半的隐藏单元输出为真实零值，这使得整流神经元能够实现真正的稀疏表