NLP入门—Task7 卷积神经网络+Text-CNN

博客主要介绍卷积神经网络相关知识。包括卷积运算,其是数学变换,有稀疏权重、参数共享等动机,还有一维、二维卷积;池化运算在卷积后进行,可降维、提取主要特征,有最大、平均池化;还介绍了Text-CNN,通过embedding层将一维文本转二维,有特定结构。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

参考资料:一张图帮你弄懂text-cnnCNN笔记:通俗理解卷积神经网络

1、卷积运算
1.1 卷积运算
 卷积运算是一种数学变换,公式中采用星号表示: s(t) = (x*w)(t)。x函数代表输入,w函数为核函数,输出被称作特征映射。

1.2 动机(稀疏权重、参数共享、等变表示)
 稀疏交互(sparse interactions),卷积神经网络的特征之一,通过控制核的大小远小于输入大小来达到。
 参数共享(parameter sharing),指的是一个模型中多个函数采用一样的参数。
 等变表示(equivariant representataions),输入和输出保持同样性质。

1.3 一维、二维卷积运算
 一维卷积:离散函数为
在这里插入图片描述连续函数为
在这里插入图片描述 二维卷积:
在这里插入图片描述2、池化运算
2.1 池化运算
 池化运算在卷积之后,对同一图像(尤其是较大图像)的不同位置特征进行聚合统计。在具体聚合运算上,可采用多种方法。

2.2 分类
 池化可分为①最大池化函数-对邻域内特征点取最大;②平均池化函数-对邻域内特征点求平均值。池化是为了对提取特征继续降维,两个作用,一是减小特征大小,控制计算复杂度,避免过拟合;二是为提取出主要特征。另外池化单元具有平移不变性,如旋转、平移、伸缩等。

3、Text-CNN
3.1 原理
 在对文本进行处理时,经过向量化后得到的是一维数据。而卷积神经网络通常用来处理二维的图像,因此需要将一维文本转化成二维。Text-CNN中是通过embedding层来实现的。
 Text-CNN的结构为:输入层、卷积层、池化层*3,全连接层(softmax),输出层。

3.2 应用
见参考资料一。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值