Rongxuan的博客

论文简析之循环网络中的正则化(Recurrent Neural Network With Regularization)摘要摘要中，作者肯定了 Dropout 方法在正则化大部分神经网络的有效性，但是目前应用在循环神经网络上效果并不好，所以作者本文的目标就是如何将 Dropout 方法正确地应用在循环神经网络上，使得在各种任务上(如语言模型、语音识别、机器翻译等)大大减小了过拟合的程度...

前言本文是 2017 年 CVPR 的 oral paper，也就是直接在大会现场展示做presentation 的论文，非常厉害。目前，也仍是计算机视觉中非常重要的网络结构。那么，我们就需要知道作者提出了怎样的创新性网络结构，能成为网红版的网络结构呢？摘要首先，作者观察到：研究者为了进一步提高网络的泛化能力，设计出的卷积网络越来越深，但是又为了避免网络产生梯度爆炸与消失的问题，研究者采用了...