实现CNN for sentence classfication

最新推荐文章于 2022-08-19 15:22:39 发布
原创 最新推荐文章于 2022-08-19 15:22:39 发布 · 387 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何使用卷积神经网络(CNN)进行句子级别的文本分类，包括模型架构、参数设置及训练流程。通过不同大小的卷积核提取文本特征，经过池化、全连接层后，利用softmax函数进行分类预测。

论文： Convolutional Neural Networks for Sentence Classification
在这里插入图片描述
将每个词取出词向量的形式，作为卷积的输入。
通过filter获取不同的特征，经过池化和全连接，用softmax求出概率，进行分类
仍然是简化文本处理的部分，只用6个句子作为全部训练语句，同时batch_size =6

三部分

  • parameters
  • 计算卷积池化全连接的主体部分
  • 训练和预测

参数部分：

在这里插入图片描述

分别是向量维数，每个句子最大的长度，分类数，卷积核大小和数量，这里用了三个卷积核
然后就是常规的对训练语句分词处理，获得词汇表等
在这里插入图片描述
这里的XY分别是模型的输入和输出，输入是将单词转化为序号的序列，输出就是【0，1】表示的分类
为了简单，没有训练词向量，而是随机生成的
embedded_chars就是喂进去的句子的词向量表示，由于总共就只有6个句子，所以输入就是这六个

计算卷积池化全连接部分：

有三个卷积核，循环来处理
每次卷积核的大小：filter_shape =[filter_size,embedding_size,1,num_filters]，表示[filter_height, filter_width, in_channels, out_channels]
用CNN处理自然语言处理时，卷积核的宽度至少要是词向量的维度，可以看第一张图的表示
论文中有两个输入channel，这里只有一个
filter的值W是随机生成的，大小就是filter_shape
然后经过tf.nn.conv2d
在加个bias，过relu激活函数
在经过max_pooling
得到的就是本次卷积池化后的结果，全部放到pooled_outputs =[]里，连接起来一起使用
concat后过一个全连接，前端连接的是总的num_filters数，后面就是类别数
得到的结果就是logit

训练和预测

就是喂进去训练语句转化为序号的句子，以及对应的label

预测时输入变为新的测试语句转化为的序号序列

简单结果如下：
在这里插入图片描述

《Convolutional Neural Network for Sentence Classification》论文阅读笔记
青柠space
04-06 2445
CNN在自然语言处理应用的开篇之作，本篇文章是作者在阅读一些blog以及论文《Convolutional Neural Network for Sentence Classification》的阅读笔记和总结。
论文阅读：《Bag of Tricks for Efficient Text Classification》
04-25 3951
本文提出了一种简单而有效的文本分类和表示学习方法。我们的实验表明，我们的快速文本分类器fastText在准确性方面通常与深度学习分类器保持一致，并且在训练和评估中速度快很多。我们可以在不到10分钟的时间内使用标准的多核CPU对超过10亿个单词进行快速文本训练，并在不到一分钟的时间内对312K类中的50万个句子进行分类。建立良好的文本分类表示是许多应用程序的重要任务，如Web搜索，信息检索，排序和文档分类。最近，基于神经网络的模型在计算句子表示方面越来越受欢迎。
使用CNN进行句子分类（Convolutional Neural Networks for Sentence Classification）
薇酱的博客
07-28 2069
Yoon Kim在论文(2014 EMNLP) Convolutional Neural Networks for Sentence Classification提出TextCNN。 文章地址：https://arxiv.org/pdf/1408.5882.pdf 以下是翻译内容 摘要： 一个简单的CNN需要很少的超参和静态的vector就能够获得很好的结果，如果将静态的vector改为针对任...
CNN-for-Sentence-Classification-in-Keras, 在Keras中用于句子分类的卷积神经网络.zip
09-19
CNN-for-Sentence-Classification-in-Keras, 在Keras中用于句子分类的卷积神经网络 基于的卷积神经网络在句子分类中的应用训练卷积网络的情感分析。 根据"用于句子分类的卷积神经网络"的，链接 。 灵感由 Denny Britz文章"在tensorflow中实现文本分类的CNN"，链接 。 用于"cnn兰德"和"cnn-no
textCNN文本分类相关论文Convolutional Neural Networks for Sentence Classification
03-16
textCNN文本分类相关论文Convolutional Neural Networks for Sentence Classification
cnn输入层_CNN用于文本分类综述
weixin_39719749的博客
10-21 429
文本分类是自然语言处理中非常底层且至关重要的任务之一，其常见方法由以前的传统模型如朴素贝叶斯加之一些常规的特征提取操作，如TF-IDF、LDA等等，演变到如今一系列的深度模型，主要包括CNN及其变种, 以RNN为基础的诸多序列模型，以及后来的RCNN, RNN via attention等等。但由于textCNN的实现简便、支持并行（从而运行速度很快），还是受到许多研究者的青睐，因而常常被用作一些...
CNN for Sentence Classification-textcnn阅读笔记
u014033218的专栏
03-22 1053
Textcnn 论文全名是《Convolutional Neural Networks for Sentence Classification》发表于2014年 是一个最经典的模型，Yoon Kim将卷积神经网络CNN应用到文本分类任务，利用多个不同size的kernel来提取句子中的关键信息（类似于多窗口大小的ngram），从而能够更好地捕捉局部相关性。 论文地址：https://arxiv....
bert-textcnn实现多标签文本分类（基于keras+keras-bert构建）
Jiangshang_jiu
08-19 8565
纯小白尝试使用keras、keras-bert结合bert与textcnn实现多标签文本分类。
DL4J之CNN对今日头条文本分类
08-13 1728
一、数据集介绍 数据来源：今日头条客户端 数据格式如下： 6551700932705387022_!_101_!_news_culture_!_京城最值得你来场文化之旅的博物馆_!_保利集团,马未都,中国科学技术馆,博物馆,新中国 6552368441838272771...
文本分类-text classification 推荐论文
yanqiuxia123的博客
04-19 4239
文本分类论文一览表 文章题目 发表年限 杂志 网络结构 创新点 多标签文本分类一览表 ...
论文笔记《Convolutional Neural Networks for Sentence Classification》
xum2008的专栏
02-12 4356
CNN+word2vec
【NLP傻瓜式教程】手把手带你CNN文本分类(附代码)
fengdu78的博客
02-24 8510
文章来源于NewBeeNLP，作者kaiyuan写在前面本文是对经典论文《Convolutional Neural Networks for Sentence Classificatio...
Convolutional Neural Network For Sentence Classification
lyy14011305的博客
05-30 5179
用卷积神经网络对句子分类 Yoon Kim 纽约大学 Yhk255@nyu.edu 摘要 针对句子级别的分类任务，我们使用卷积神经网络（CNN）结合预训练的词向量做了一系列的实验。我们证明一个少量调节超参数的简单CNN模型结合静态词向量可以在很多基准上取得非常好的结果。通过细粒度的调节参数学习特定任务的词向量可以进一步的提升结果。我们提出了对架构简单的修改，这样可以同时使用基于特定
CNN在文本分类的应用(内有代码实现) 论文Convolutional Neural Networks for Sentence Classification
u010960155的博客
07-31 1万+
一、CNN文本分类简介 文本分类是NLP领域的一个重要子任务，文本分类的目标是自动的将文本打上已经定义好的标签，常见的文本分类任务有： 用户评论的情感识别 垃圾邮件过滤 用户查询意图识别 新闻分类 由此看出文本分类的用途十分之广，包括知识图谱领域的关系抽取任务也是使用文本分类实现的。 有很多经典的统计学习方法可以用来做文本分类，比如SVM，LR，MaxEnt等等。这些方法的一般流程是标...
卷积神经网络(CNN)在句子建模上的应用
热门推荐
MemRay
05-19 3万+
转载自：http://www.jeyzhang.com/cnn-apply-on-modelling-sentence.html 之前的博文已经介绍了CNN的基本原理，本文将大概总结一下最近CNN在NLP中的句子建模（或者句子表示）方面的应用情况，主要阅读了以下的文献： Kim Y. Convolutional neural networks for sentence classifi
Convolutional Neural Networks for Sentence Classification
cyl9413的博客
12-02 1946
卷积神经网络用于文本分类整理学习笔记也是把知识系统化的过程。 最近在研究Yoon Kim的一篇经典之作Convolutional Neural Networks for Sentence Classification，这篇文章可以说是cnn模型用于文本分类的开山之作（其实第一个用的不是他，但是Kim提出了几个variants，并有详细的调参）2 模型  整个模型的构造如下图所示：   这里 xi
中文短文本分类实例三-TextCNN（Convolutional Neural Networks for Sentence Classification）
大漠帝国的博客
06-16 4393
一.概述 TextCNN（Convolutional Neural Networks for Sentence Classification）by Yoon Kim作为CNN在NLP文本分类任务上的经典之作，诞生于深度学习和卷积神经网络成为图像任务明星的2012年之后的2014年，让人不得不感慨时势的神奇。 TextCNN提出的目的在于，希望将CNN在图像领域...
pytorch学习之textCNN实现
yellow_red_people的博客
05-22 1万+
最近在学pytorch，所以尝试使用pytorch实现textCNN，ps(git 上有其他人textCNN的实现)。pytorch比tensorflow好的一个地方就在于好学，适合初学者。首先，要注意的就是这个样例的数据预处理，我使用的数据是中文文本分类数据集THUCNews，THUCNews是根据新浪新闻RSS订阅频道2005~2011年间的历史数据筛选过滤生成，包含74万篇新闻文档（2.19...
Convolutional Neural Network For Sentence Classification<Yoon Kim>解析(二)
lyy14011305的博客
02-02 2273
一、代码实现原理解析 二、Twitter文本预处理 三、CNN进行Twitter情感分类实现 目录一已经讲过代码的实现原理i，下面针对一个具体的Twitter情感分类的实验来具体讲解CNN对短文本的处理过程。首先是带有极性的Twitter文本作为原输入，这里假设是二分类的问题，那么将具有相同极性的twitter分到同一个文件下，这样会有两个文件，一个是positive，另一个是negativ
PyTorch CNN实现电影评论情感分析
Yoon Kim在2014年发表的论文《Convolutional Neural Networks for Sentence Classification》为CNN在NLP领域的应用提供了理论基础。在这篇论文中，Kim提出了使用卷积神经网络直接在句子级别进行分类的方法，从而为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值