VDCNN是一种基于字符级别的深度卷积神经网络，主要应用于自然语言处理任务。该模型包含29个卷积层，通过小尺度卷积和k-max pooling保留位置信息。与RNN和浅层CNN相比，VDCNN在增加深度后性能逐渐提高，尤其在大数据集上表现出色，且不需要数据增强技术。尽管性能不随深度单调增长，29层网络达到最优，ResNet的shortcut结构有助于缓解深度增加带来的性能下降问题。
论文链接：
https://arxiv.org/abs/1606.01781
论文动机：
在NLP任务中，RNN和CNN都是常用的方法，但与CV中的深度卷积网络相比，NLP使用的基本都是浅层网络。大家普遍认为加深网络深度并没有太大意义。
VDCNN架构：
VDCNN基于字符级别（character level），只利用小尺度的卷积核池化操作，包含了29个卷积层。
句子长度为s，论文中固定s=1024。经过lookup层，每个字符映射成一个16维的向量（character embedding）。为减少内存的占用，借鉴VGG和ResNets的两个设计规则：
1、对于相同的输出特征图大小，图层有相同数量的滤波器；
2、如果特征图的大小被减半，过滤器的数量增加一倍。
如何做到减少内存占用？
最低0.47元/天 解锁文章
扫一扫
687
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
