CNN与句子分类之动态池化方法DCNN--模型介绍篇

最新推荐文章于 2024-03-30 22:00:15 发布

原创

最新推荐文章于 2024-03-30 22:00:15 发布 · 1.2w 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#cnn #句子分类

本文详细介绍了基于CNN的句子分类模型——动态卷积神经网络(DCNN)，重点关注动态k-max pooling层。该模型通过per-dim卷积层、folding层和k-max pooling层捕捉句子中词语之间的长距离依赖，其中k-max pooling能动态选取不同层的最大k个值，保留位置信息。此外，folding层通过相邻维度求和降低了模型复杂度。

本文是针对“A Convolutional Neural Network for Modelling Sentences”论文的阅读笔记和代码实现。这片论文的主要贡献在于其提出了一种动态pooling的方法。传统卷积神经网络中所用到的pooling方法一般是max-pooling，且pooling的size是固定不变的。本文通过k-max-pooling的方法可以在高层获取句子中位置较远的词语之间的联系。其整体思路如下图所示：
这里写图片描述
下面我们介绍一下论文所提出的模型，模型主要包含了per-dim的卷积层、folding层和k-max的pooling层。per-dim卷积层和前面一篇博客中介绍的是一样的，针对embed_size的每个维度分别进行卷积。folding层就是简单的将相邻的两个dim的值进行求和，从而实现维度的降低。k-max pooling层是选出最大的k个值而不是向传统的pooling层那样仅选出最大值。其模型架构如下图所示：
这里写图片描述