文本分类论文阅读
关注
分享
扫一扫
文章平均质量分 88
文本分类论文阅读
Leokb24
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Character-level Convolutional Networks for Text Classification阅读笔记
概述一篇比较经典的文本分类论文, 利用char-CNN结构提取特征, 而没有使用目前非常流行的词向量.作者通过实验证明, 在数据量足够的情况下, 深层CNN网络不需要词语信息, 仅依赖字符信息就可以获得不错效果.只利用字符信息可以有效解决拼写错误和表情符号等问题.模型Key Modules主要模块是一维卷积模块.定义离散输入函数g(x)∈[1,l]→Rg(x)\in[1, l] \...原创 2019-05-29 20:56:18 · 484 阅读 · 0 评论 -
Deep Learning for Extreme Multi-label Text Classification阅读笔记
文章目录概述模型Dynamic max poolingHidden Bottleneck layer概述Extreme multi-label就是说总的标签量非常多, 成千上万甚至数百万.Extreme multi-label text classification主要难点在于数据稀疏, 并且计算量较大(标签太多).本文作者对textcnn进行改进, 使其在extreme multi-la...原创 2019-05-25 23:37:57 · 3614 阅读 · 0 评论 -
Deep Pyramid Convolutional Neural Networks for Text Categorization阅读笔记
文章目录DPCNN模型结构等长卷积池化固定feature maps(filters)的数量Shortcut connections with pre-activationText region embedding实验数据集及预处理参数设置结果DPCNN与之前CNN模型相比, 加深了很多.通过不断加深网络，可以抽取长距离的文本依赖关系. 参考了ResNet结构.模型结构等长卷积首先交...原创 2019-04-12 15:08:22 · 2564 阅读 · 0 评论 -
Hierarchical Attention Networks for Document Classification阅读笔记
文章目录模型结构Hierarchical AttentionWord EncoderWord AttentionSentence EncoderSentence AttentionDocument Classification实验数据集参数实验结果模型结构Hierarchical Attentionencoder采用的双向GRUWord EncoderWord Attenti...原创 2019-04-09 23:43:29 · 549 阅读 · 0 评论 -
A Convolutional Neural Network for Modelling Sentences(DCNN)阅读笔记
Dynamic Convolutional Neural Network一、介绍一篇14年的很经典的论文, 模型采用动态k-max pooling取出得分topk的特征值，能处理不同的句子，不依赖解析树。网络包含两种类型的层：一维的卷积层和动态k-max池化层（Dynamic k-max pooling）。k-max pooling：pooling的结果不是返回一个最大值，而是返回k组最...原创 2019-04-12 13:27:13 · 1068 阅读 · 0 评论 -
Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification阅读笔记
Att-BLSTMModel模型主要包括五部分:Input layerEmbedding layerLstm layerAttention layerOutput layerWord Embedding没啥好说的…Bidirectional NetworkBi-LSTM结构, 最后输出AttentionAttention部分, 先对LSTM输出做非线性激活...原创 2019-04-12 11:19:37 · 903 阅读 · 0 评论 -
Recurrent Convolutional Neural Networks for Text Classification阅读笔记
RCNNModelWord Representation Learning使用的双向RNNcl(wi)c_l(w_i)cl(wi)表示词wiw_iwi左边上下文, cr(wi)c_r(w_i)cr(wi)表示右边上下文, 计算方式如下:e(wi−1)e(w_{i-1})e(wi−1)代表第i-1个词的word embedding.每个词的最终表示:再接一...原创 2019-04-12 10:50:32 · 685 阅读 · 0 评论 -
Universal Language Model Fine-tuning for Text Classification(ULMFiT)阅读笔记
UMFiTIntroduction文章贡献点:利用迁移学习的思想, 提出基于微调的通用语言模型(ULMiT)提出discriminative fine-tuning, slanted triangular learning rates, gradual unfreezing等方法Model进入正题, 先来看下模型结构 首先预训练一个语言模型, 论文中采用的是AWD-LS...原创 2019-04-11 22:28:32 · 464 阅读 · 0 评论 -
Bag of Tricks for Efficient Text Classification(FastText)阅读笔记
文章目录FastText模型结构Hierarchical softmaxN-gram features实验任务1 Sentiment analysis任务2 Tag prediction总结FastTextfastText的核心思想：将整篇文档的词及n-gram向量叠加平均得到文档向量，然后使用文档向量做softmax多分类。这中间涉及到两个技巧：字符级n-gram特征的引入以及分层Softm...原创 2019-04-11 20:25:14 · 705 阅读 · 0 评论 -
Effective Use of Word Order for Text Categorization with Convolutional Neural Networks阅读笔记
文章目录主要思路：不做word embedding，直接输入one-hotseq-CNNbow-CNNExtension: parallel CNN首先将句子序列中每个词onhot表示，然后可以通过不同size的卷积池化层来对其进行特征抽取，得到结果之后再进行concat，然后再接全连接输出层进行输出。...原创 2019-04-11 19:51:19 · 388 阅读 · 0 评论 -
Convolutional Neural Networks for Sentence Classification阅读笔记及复现
文章目录TEXT-CNN1. 网络结构Embedding LayerConvolution LayerMax-Pooling LayerSoftMax分类Layer2. 参数与超参数3. 变种4. 实验代码复现(pytorch)TEXT-CNN一篇比较老的论文了, 但是很经典, 在一些简单的分类任务上效果也还不错.1. 网络结构Embedding Layerword embedd...原创 2019-04-11 19:43:44 · 1610 阅读 · 0 评论 -
文本分类论文阅读笔记
文章目录ClassificationCNNtext-cnn1. 网络结构2. 参数与超参数3. Embedding Layer4. Convolution Layer5. Max-Pooling Layer6. SoftMax分类Layer7. 变种实验Effective Use of Word Order for Text Categorization with Convolutional Ne...原创 2019-02-19 14:18:45 · 1670 阅读 · 0 评论