CNN for NLP

最新推荐文章于 2024-06-29 20:42:47 发布
最新推荐文章于 2024-06-29 20:42:47 发布
阅读量957 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： ┾算法┾
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lightty/article/details/51818067

强烈推荐：http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp

论文：《Convolutional Neural Networks for Sentence Classification》

Tensorflow 实现blog：http://www.wildml.com/2015/12/implementing-a-cnn-for-text-classification-in-tensorflow

代码：https://github.com/dennybritz/cnn-text-classification-tf

框架

首先，理解下卷积：
这里写图片描述

片段

  • ReLU，可以实现稀疏。为什么？假设一个神经元的输出是付出，那ReLU后，就是0，上面的也无法向下传递梯度，这个就会保持在0，就稀疏了。而sigmoid这种，在情况不好的时候，还是有机会“翻身”的。

“ReLu的使用，使得网络可以自行引入稀疏性。这一做法，等效于无监督学习的预训练。更快的特征学习。”

“一句话概括：不用simgoid和tanh作为激活函数，而用ReLU作为激活函数的原因是：加速收敛。
因为sigmoid和tanh都是饱和(saturating)的。何为饱和？个人理解是把这两者的函数曲线和导数曲线plot出来就知道了：他们的导数都是倒过来的碗状，也就是，越接近目标，对应的导数越小。而ReLu的导数对于大于0的部分恒为1。于是ReLU确实可以在BP的时候能够将梯度很好地传到较前面的网络。”
http://blog.youkuaiyun.com/liulina603/article/details/44915905
http://www.cnblogs.com/xinchrome/p/4964930.html
http://www.cnblogs.com/neopenx/p/4453161.html

  • DropOut，理解为ensemble。在训练时有用，在预测时候不需要。每次都会随机选择一部分神经元失效，相当于用了不同的模型去做。防止过拟合。（感觉自己都说服不了–#）

  • adam，并不理解细节，“Adam 算法根据损失函数对每个参数的梯度的一阶矩估计和二阶矩估计动态调整针对于每个参数的学习速率”，就是学习速率不一致？

  • Batch_Size： https://www.zhihu.com/question/32673260，大数据集，全学习太慢不可行。如果极端，每次只训练一个样本，各个梯度不断修正，难以收敛。

更多资料：

2010-2016年被引用次数最多的深度学习论文： http://synchuman.baijia.baidu.com/article/495369
Tensorflow中文文档：http://wiki.jikexueyuan.com/project/tensorflow-zh/
深度学习博客：http://blog.youkuaiyun.com/zouxy09/article/details/8775518
Tensorflow博客，padding、strike这些：http://www.cnblogs.com/hellocwh/p/5564568.html

自然语言处理之语音识别：卷积神经网络(CNN)在自然语言理解和生成中的应用
zhubeibei168的博客
10-15 777
语音识别（Speech Recognition）是将人类的语音转换为文本的过程。这一技术在电话服务、语音助手、会议记录等领域有着广泛的应用。语音识别系统通常包括声音信号处理、特征提取、声学模型和语言模型等关键组件。文本卷积网络（Text Convolutional Network, TCN）是卷积神经网络（Convolutional Neural Networks, CNN）在自然语言处理（NLP）领域的应用。CNN最初在图像处理中大放异彩，因其能够捕捉局部特征和模式而闻名。
NLP自然语言处理——文本分类（CNN卷积神经网络）
m0_51602395的博客
05-09 4751
文本分类是NLP自然语言处理中一项基本功能，它在新闻分类、主题分类、问答匹配、意图识别、情感分类、推断等领域都有涉及。 学习应用文本分类任务的难点有被识别语言的复杂性和评测函数的设计等 ...
【论文笔记】CNN for NLP
weixin_34407348的博客
01-09 270
什么是Convolutional Neural Network（卷积神经网络）？ 　　最早应该是LeCun(1998)年论文提出，其结果如下：运用于手写数字识别。详细就不介绍，可参考zouxy09的专栏，主要关注convolution、pooling，个人理解是这样的，convolution是做特征检测，得到多个feature maps，而pooling是对特征进行筛选，提取关键信息，过滤掉一些...
CNN For NLP
寸先生的AI道路
01-07 1469
CNN for NLP (CS224D) 斯坦福课程CS224d: Deep Learning for Natural Language Processing lecture13：Convolutional neural networks – for sentence classification 　　主要是学习笔记，卷积神经网络（CNN），因为其特殊的结构，在图像
卷积神经网络(CNN)在句子建模上的应用
热门推荐
MemRay
05-19 3万+
转载自：http://www.jeyzhang.com/cnn-apply-on-modelling-sentence.html 之前的博文已经介绍了CNN的基本原理，本文将大概总结一下最近CNN在NLP中的句子建模（或者句子表示）方面的应用情况，主要阅读了以下的文献： Kim Y. Convolutional neural networks for sentence classifi
NLP：自然语言处理的预训练模型Pre-trained Models for NLP- A Survey
04-21
自然语言处理（NLP）领域的预训练模型（Pre-trained Models，PTMs）是近年来深度学习技术发展的重要成果，引领了NLP研究的新纪元。预训练模型的核心在于通过大规模无标注文本数据进行预训练，学习到语言的通用表示，...
Attention-Based-Siamese-Text-CNN-for-Stance-Detection:复旦大学自然语言处理专业（DATA130006）的最终项目
05-13
这是NLP课程的最终项目。 我们的工作包括以下几个部分： 数据预处理 常规机器学习方法 Seq2seq注意模型 TextCNN和暹罗网络 其他（例如比赛中的相关工作，未来的工作） 1.数据预处理 我们提供了几种数据预处理方法...
自然语言处理前馈网络（MLP、CNN）
nonosaysyes的博客
06-29 1221
介绍两种前馈神经网络:多层感知器和卷积神经网络。多层感知器在结构上将多个感知器分组在一个单层，并将多个层叠加在一起。我们稍后将介绍多层感知器，并在“示例:利用MLP实现通过姓氏预测国籍”中展示它们在多层分类中的应用。积神经网络，在处理数字信号时深受窗口滤波器的启发。通过这种窗口特性，卷积神经网络能够在输入中学习局部化模式，这不仅使其成为计算机视觉的主轴，而且是检测单词和句子等序列数据中的子结构的理想候选。我们在“卷积神经网络”中概述了卷积神经网络，并在“示例:使用实现通过姓氏预测国籍”中演示了它们的使用。
NLP + CNN需要看的文章和源码
chenzhi1992的博客
04-13 1813
刚接触NLP，记录下cnn在处理nlp相关工作的文章： [1] Kim, Y. (2014). Convolutional Neural Networks for Sentence Classification. Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNL
卷积神经网络（CNN）概述及其在NLP中的应用（二）
liuyuemaicha的专栏
12-20 7506
原文链接： http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp/ 原标题《Understanding convolutional neural networks for nlp》卷积神经网络（CNN）概述及其在NLP中的应用（一）5. Convolutional Neural Ne
CNN在NLP领域的实践（1） 文本分类
diye2008的博客
11-09 2万+
众所周知，卷积神经网络（CNN）在计算机视觉领域取得了极大的进展，但是除此之外CNN也逐渐在自然语言处理（NLP）领域攻城略地。本文主要以文本分类为例，介绍卷积神经网络在NLP领域的一个基本使用方法，由于本人是初学者，而且为了避免东施效颦，所以下面的理论介绍更多采用非数学化且较为通俗的方式解释。 0.文本分类 所谓文本分类，就是使用计算机将一篇文本分为a类或者b类，属于分类问题的一种
为什么用CNN做NLP
fkyyly的专栏
02-26 2223
一、引例我们首先来看这么一个问题，假设我们需要对句子做情感上的分类。传统的词袋模型或者连续词袋模型都可以通过构建一个全连接的神经网络对句子进行情感标签的分类，但是这样存在一个问题，我们通过激活函数可以让某些结点激活（例如一个句子里”not”,”hate”这样的较强的特征词），但是由于在这样网络构建里，句子中词语的顺序被忽略，也许同样两个句子都出现了not和hate但是一个句子（I do not h...
Batch Normalization & Layer Normalization
Sigh～
07-26 7809
Batch Normalization： 原文：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 详细说明：http://blog.youkuaiyun.com/hjimce/article/details/50866313 理解：http://blog.csdn.ne
Word2Vec Sent2Vec
Sigh～
07-04 7784
好好研究了下Word2Vec和Sent2Vec的代码，推导了下公式，花费了不少的时间，不过清晰了很多。源代码参考：https://github.com/klb3713/sentence2vec理论上是分两部分，首先是进行Word2Vec的，获得词向量，以及权重等。然后再进行Sent2Vec的处理，基于已有的Word Vector以及网络权重。Word2Vec 预测目标 总体的目标是，词向量作为输入（
熵、基尼不纯度、KL、互信息
Sigh～
09-19 2865
对于一个分类，判断它本身是否“纯净”，可以用熵、基尼不纯度 遇到两个分布的距离，可以用KL 判断两个量的相关性，比如某个特征与某个类别是否有关系，可以用互信息（其实它与条件熵，差不多） 基本内容： http://www.cnblogs.com/TtTiCk/archive/2008/06/25/1229480.html 连续型的时候： http://blog.youkuaiyun.com/daringpig/
知识图谱
Sigh～
07-11 2690
周末讲座的内容，很泛的了解。 另外，transE 优化目标，头实体+关系=尾实体，低维语义表示，这想法赞。建模！或者参考这篇：http://www.tuicool.com/articles/jEzmUv一 开始的是one hot，cout base distribute representation，再到后面的同一语义空间 第一方面，三元组的形式 transE 优化目标，头实体+关系=尾
从DT到Random Forest、GBDT
Sigh～
08-29 2020
决策树基础的内容，参考的链接： http://leijun00.github.io/2014/09/decision-tree/ ID3最基础的决策树，多叉树，仅能处理离散型值 采用信息增益来处理 g(D,A)=H(D)−H(D|A) 会偏向有较多属性的feature，容易过拟合 C4.5对ID3的改进 对于连续值，进行划分。假设是min，k1，k2，…，max的划分，依次尝试划分的方式，计算最佳
cnn自然语言处理
最新发布
03-09
### 卷积神经网络在自然语言处理中的应用 卷积神经网络（CNN）不仅限于计算机视觉领域，在自然语言处理（NLP）方面同样表现出色[^1]。通过利用文本数据的空间结构特性，CNN能够在诸如情感分析、语义相似度计算以及短语分类等任务上取得良好效果。 #### 特征提取机制 对于一段给定的文字序列而言，首先会被转换成词向量表示形式；之后输入到由多个过滤器组成的卷积层中去。每一个滤波器负责扫描整个句子长度范围内的局部区域——即n-gram窗口大小，并从中抽取有意义的信息片段作为新特征[^4]。 ```python import torch.nn as nn class TextCNN(nn.Module): def __init__(self, vocab_size, embed_dim=100, num_filters=[100]*3, filter_sizes=[3,4,5]): super(TextCNN, self).__init__() # Embedding layer self.embedding = nn.Embedding(vocab_size, embed_dim) # Convolution layers with different window sizes (filter sizes) conv_blocks = [] for fs in filter_sizes: conv = nn.Sequential( nn.Conv1d(in_channels=embed_dim, out_channels=num_filters[fs//2], kernel_size=fs), nn.ReLU(), nn.MaxPool1d(kernel_size=(vocab_size-fs+1)) ) conv_blocks.append(conv) self.conv_blocks = nn.ModuleList(conv_blocks) def forward(self,x): embedded_sent = self.embedding(x).permute(0,2,1) pooled_outputs = [conv_block(embedded_sent).squeeze(-1) for conv_block in self.conv_blocks] output = torch.cat(pooled_outputs,dim=-1) return F.log_softmax(output,dim=-1) ``` 这段代码展示了如何构建一个多通道的一维卷积模型来处理变长的文本输入。这里采用了三种不同宽度的滑动窗以捕获更丰富的上下文模式。 #### 处理固定长度之外的情况 当面对不定长的文档或者评论时，则可以通过填充(padding)的方式使得每条记录达到相同的尺寸以便统一处理。另外还可以采用全局最大池化(global max pooling)，它会选取每个feature map上的最大值而不考虑具体位置，这样就不再受限于原始样本的具体规模了。 #### 应用实例 - **情感分类**：判断一条微博是正面还是负面情绪表达； - **问答匹配**：衡量两个问题之间的关联程度； - **主题建模**：自动归纳文章所属类别标签。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值