《Character-level convolutional networks for text classification》论文网络结构解读

最新推荐文章于 2024-04-15 22:36:50 发布
最新推荐文章于 2024-04-15 22:36:50 发布
阅读量1.4k 收藏 8
点赞数
CC 4.0 BY-SA版权
分类专栏： NLP AI论文解读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hao5335156/article/details/84900239
本文介绍了一种使用字符级卷积网络进行文本分类的方法，通过构建字符词汇表将文本转换为数值矩阵，利用固定参数处理不同长度的文本，最后通过9层网络结构输出4个类别预测，有效处理文本分类任务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.数据

比如有一条数据【x=“Simultaneous Tropical Storms are Very Rare”】.则把该句子的大写字母全部表示成小写，构建char字符集的词汇表如下（这里词汇表长度为70（69+1，即其他的不在词汇表的表示为0））：
在这里插入图片描述
数据可以表示为x=70X1014 (高X宽，即70个特征，每个特征的长度为1014)，该矩阵初始为0，反向依次遍历【x=“simultaneous tropical storms are very rare”】，即首先遇到长度1014向量的第一个字符“e”，则查找"e"在词汇表中的位置为index，在矩阵index行中把第0列置1；然后遇到长度1014向量的第2个字符“r”，则查找"r"在词汇表中的位置为index，在矩阵index行中把第1列置1；…重复以上遍历，则可以表示一条数据最终为x=70X1014的矩阵。（1014是一个固定参数，根据问题而定）

2.网络结构

分为9层，输入为x=70*1014；输出为4个类别。（如果类别之间不平衡，则处理方式是，对于较少的类别，提高其类别权重。比如类别A:B:C:D=1:2:3:4，则weight(A)=(1+2+3+4)/1=10;weight(B)=(1+2+3+4)/2=5）
在这里插入图片描述

参考
1.代码
2.《Character-level convolutional networks for text classification》

《Character-level Convolutional Networks for Text Classification》论文学习
Coco_wjy的博客
12-04 959
论文连接: http://arxiv.org/abs/1509.01626 github: https://github.com/zhangxiangxiao/Crepe 数据集：http://goo.gl/JyCnZq github(Tensorflow): https://github.com/mhjabreel/CharCNN 摘要 本文对字符级卷积网络进行文本分类进行了实证探索。本文构建了...
ICCV2019《Convolutional Character Networks》论文阅读笔记
ryERO的博客
01-03 1217
前言 新年咯，摸了好久没写（掩面）。 这篇论文中了有几个月了，内容是自然场景文本的检测识别。文章中设计的是one-stage的模型，同时做了word-level和char-level的检测，框一起出但识别只在char-level做。考虑到数据集很多缺少char-level的标注，所以还提出了用合成图片训练字符检测部分。 从结果看，这篇论文在三个公开数据集上取得了比SOTA高一大截的结果，而且开源了...
Character-level Convolutional Networks for Text Classification之每日一篇
gentelyang的博客
06-27 2597
这篇文章发表于2016.04，作者还发表了一篇Text Unders tanding from Scratch的论文，有兴趣的可以去看看。1：Character quantization构建字母表，包含70种字符。The alphabet used in all of our models consists of 70 characters, including 26 english letter...
《Character-level Convolutional Networks for Text Classification》
乱指的指针
06-13 2327
Character-level Convolutional Networks for Text Classification 概述：验证使用字符级的CNN进行文本分类任务的可能性 笔记： 1.文本分类是个nlp经典问题，从人工标注特征到选择最好的机器学习分类器，目前，几乎所有的文本分类都是基于词的（截止2016年4月）。 2.后来人们发现cnn对于原始数据提取特征很有用，就从cv到语音...
Character-level Convolutional Networks for Text Classification阅读笔记
Leokb24的博客
05-29 465
概述 一篇比较经典的文本分类论文, 利用char-CNN结构提取特征, 而没有使用目前非常流行的词向量. 作者通过实验证明, 在数据量足够的情况下, 深层CNN网络不需要词语信息, 仅依赖字符信息就可以获得不错效果. 只利用字符信息可以有效解决拼写错误和表情符号等问题. 模型 Key Modules 主要模块是一维卷积模块. 定义离散输入函数g(x)∈[1,l]→Rg(x)\in[1, l] \...
《Character-level Convolutional Networks for Text Classification》论文阅读笔记
青柠space
04-15 1188
CharTextCNN的论文阅读笔记，这篇论文首先开创了字符级在文本分类的应用。
Character-level_Convolutional_Networks_for_Text_
08-26
Character-level_Convolutional_Networks_for_Text_Cl_char-cnn-text-classification-tensorflowCl_char-cnn-text-classification-tensorflow.zip
【每周一文】Convolutional Neural Network for text/sentence classification（2016）
fangqingan_java的专栏
11-20 6218
概述 卷积神经网络（CNN）相比于基于词袋模型的DNN有以下优点： 1. 能够捕获局部的位置信息 2. 能够方便的将不定长的输入转换成定长输入接入到DNN网络中 3. 相比于RNN模型计算复杂度低，在很多任务中取得不错的效果。 在自然语言处理（NLP）的分类任务中，文本分类或者句子分类也能表现比较好的效果，甚至达到state of art效果。 另外如果借助于预训练的词向量、字向量或者
Convolutional Neural Networks for Sentence Classification
cyl9413的博客
12-02 1930
卷积神经网络用于文本分类整理学习笔记也是把知识系统化的过程。 最近在研究Yoon Kim的一篇经典之作Convolutional Neural Networks for Sentence Classification，这篇文章可以说是cnn模型用于文本分类的开山之作（其实第一个用的不是他，但是Kim提出了几个variants，并有详细的调参）2 模型  整个模型的构造如下图所示：   这里 xi
Recurrent Convolutional Neural Networks for Text Classification
05-21
找到了国外的一篇文章《Recurrent Convolutional Neural Network For Text Classification》
论文笔记-recurrent CNN for text classification
alisonxPandas的博客
06-06 1328
Siwei Lai等，2015 背景： 使用CNN进行文本分类具有无偏的优点，先在每个小文本段上提取特征，再进入池化层汇总特征，从而区分句子或文本的语义。在提取特征时通常会设置一个固定长度的窗口，词窗长度的设置是一个问题：词窗小，可能会造成关键信息的损失；词窗大，参数空间会变得很大，难以训练。 本文用循环的思想改良CNN特征提取的过程，通过上下文的方式直接在word representati...
论文解读：Graph Convolutional Networks for Text Classifification
夏栀的博客
08-06 1775
论文解读：Graph Convolutional Networks for Text Classifification   先前的文本分类方法是基于CNN或RNN进行的，只能单独的对文本自身的上下文进行语义提取，而不能够对文本之间的相关信息进行表示。随着图结构在NLP领域的大放光彩，将图引入文本分类是新的思路。 一、简要信息 序号 属性 值 1 模型名称 Text-GCN 2 所属领域 自然语言处理 3 研究内容 文本分类 4 核心内容 Text Classification,
论文阅读总结（Graph Convolutional Networks for Text Classification）
shandler的博客
11-23 1861
Graph Convolutional Networks for Text Classification（用于文本分类的图卷积网络） 论文：https://arxiv.org/abs/1809.05679v1 推荐继续阅读：Every Document Owns Its Structure: Inductive Text Classification via Graph Neural Networks 摘要：作者介绍了其TextGCN的方法，作者在语料库中构建图，其构图方式是：词节点与词节点之间连边，同时词
【论文阅读笔记】Graph Convolutional Networks for Text Classification
学习带来的快乐最持久~
07-06 1621
目录1 原文2 针对问题3 模型 / 方法3.1 Text GCN4 实验结果5 讨论6 结论 1 原文 Graph Convolutional Networks for Text Classification 源码 2 针对问题 文本分类是自然语言处理中一个常见的基础问题。我们常用的文本表示方法有CNN，RNN，LSTM等等。这些模型会优先考虑文本的顺序信息和局部信息，能够很好的捕获连续词序列中的语义和语法信息，但是它忽略了全局的词共现，词共现中携带了不连续以及长距离的语义信息。 3 模型 / 方法 使用
论文笔记：Character-level Convolutional Networks for Text Classification
qq_45047246的博客
09-30 729
论文笔记：Character-level Convolutional Networks for Text Classification Introduction To date,almost all techniques of text classification are based on words, in which simple statistics of some ordered word combinations (such as n-grams) usually perform the be
NLP中的Tokenization方法——BPE（Byte-Pair Encoding）
xiao_ling_yun的博客
03-19 7248
我们知道很多NLP模型（Transformer, Bert）输入的其中一部分是句子的token，然后结合位置编码进入到Mutil-Head Self Attention Layer，后者大家都很熟悉，但如何获得token，却很少有人讲解，这一部分也一度令我疑惑。 获得句子的token，操作被称为：tokenization。是NLP任务中最基础、最先需要进行的一步，该操作的目的是将输入文本分割成单独的部分，然后结合词典进一步转化为token。
Character-level Convolutional Networks for Text Classification
BUPT-WT的博客
10-23 916
论文总体结构 本文历史意义: 1、构建多个文本分类数据集，推动文本分类发展 2、提出CharTextCNN方法，由于只使用字符信息，所以可以用于多种语言中 一、Abstract(通过实验探究了字符级别卷积神经网络用于文本分类的有效性，模型取得较好结果) 摘要部分讲解了本文主要做什么，主要是三个方面，一是从实验角度探究字符级别卷积神经网络的有效性，二是构造几个大规模文本分类数据集，三是和对比模型相互比较。 二、Introduction(字符级别特征可以有效从原始新号如...
【论文复现】Character-level Convolutional Networks for Text Classification
Kaiyuan_sjtu的博客
01-04 1643
写在前面 今天讨论的论文依然是文本分类主题的。Character-level Convolutional Networks for Text Classification这篇论文是在2016年4月份发表的，在此之前，深度学习自然语言处理问题的处理思路基本都是基于单词或者短语（n-grams）。这篇文章作者受到 ImagineNet卷积神经网络处理图片从底层像素开始的思路影响，开始试图从字符角度出...
子词分词器BPE和WordPiece理解
beingstrong的博客
04-15 2603
在学习不同的模型如GPT-1、Bert时可以发现它们使用了不同的子词分词器(subword tokenizer) ：BPE（Bype Pair Encoding)和WordPiece。那这两个子词分词器有什么异同呢？
cnn文本分类论文
最新发布
03-08
### 关于卷积神经网络在文本分类中的应用 卷积神经网络（CNN）不仅广泛应用于计算机视觉，在自然语言处理领域也取得了显著成果，特别是在文本分类任务上表现出色[^2]。 #### CNN在文本分类中的优势 利用卷积操作能够自动捕捉局部特征的能力，使得CNN能够在不依赖人工设计特征的情况下有效提取文本的关键信息。通过滑动窗口机制，模型可以从不同位置抽取n-gram特征，并借助池化层实现对这些特征的选择性保留，从而增强模型鲁棒性和泛化能力[^3]。 #### 经典文献推荐 针对希望深入了解这一主题的研究者而言，建议关注以下几篇具有代表性的学术论文： 1. **Yoon Kim (2014)** 提出了单层或多层一维卷积架构用于句子级情感分析的任务中，证明了简单的CNN结构就能达到甚至超越传统方法的效果。 2. **Zhang et al., Character-level Convolutional Networks for Text Classification (2015)** 探讨了字符级别的卷积表示如何帮助提高多种NLP下游任务的表现，特别是当数据集规模较大时尤为明显。 3. **Conneau et al., Very Deep Convolutional Networks for Natural Language Processing (2017)** 展示了更深更复杂的VDCNN模型是如何进一步提升文本分类性能的同时保持较低计算成本的优势。 以上提到的工作均被收录于顶级会议或期刊之中，对于理解当前最前沿的技术发展动态以及探索未来可能的研究方向都极具价值[^1]。 ```python import torch.nn as nn class TextCNN(nn.Module): def __init__(self, vocab_size, embed_dim=128, num_classes=2): super(TextCNN, self).__init__() # Embedding layer to convert words into dense vectors self.embedding = nn.Embedding(vocab_size, embed_dim) # Define multiple convolution layers with different kernel sizes kernels = [(3, 256), (4, 256), (5, 256)] self.convs = nn.ModuleList([nn.Conv2d(1, out_channels, (kernel_height, embed_dim)) for kernel_height, out_channels in kernels]) # Fully connected layer after concatenating outputs from all convolutions self.fc = nn.Linear(sum(out_channels for _, out_channels in kernels), num_classes) def forward(self, x): embedded = self.embedding(x).unsqueeze(1) # Add channel dimension conved = [F.relu(conv(embedded)).squeeze(-1) for conv in self.convs] pooled = [F.max_pool1d(i, i.size(2)).squeeze(2) for i in conved] cat = torch.cat(pooled, dim=1) logits = self.fc(cat) return logits ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值