【自然语言处理】情感分析（四）：基于 Tokenizer 和 Word2Vec 的 CNN 实现

已于 2023-11-02 21:31:28 修改
阅读量1.7k 收藏 11
点赞数 6
CC 4.0 BY-SA版权
分类专栏： # 情感分析 文章标签： 自然语言处理 word2vec cnn tokenizer 情感分析
于 2023-01-27 16:26:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Be_racle/article/details/128769779
本文介绍如何利用Tokenizer和Word2Vec结合CNN进行情感分析，详细阐述了数据准备、基于Tokenizer的CNN实现和基于Word2Vec的CNN实现过程，并提供了代码示例。

本系列文章包含：

情感分析（四）：基于 Tokenizer 和 Word2Vec 的 CNN 实现

本文将用 卷积神经网络（Convolutional Neural Networks， C N N CNN CNN）替换上一篇博客中的 L S T M LSTM LSTM。 L S T M LSTM

了解本专栏 订阅专栏 解锁全文 超级会员免费看
text-cnn：嵌入Word2vec词向量的CNN中文文本分类
02-06
使用CNN和Word2vec进行文本分类 本文是参考gaussic大牛的“ text-classification-cnn-rnn”后，基于同样的数据集，嵌入词级别操作的CNN文本分类实验结果，gaussic大牛是基于字符级的；进行了第二版的更新：1。加入不同的卷积核； 2。加入正则化； 3。词唯一的中文或英文，删除掉文本中数字，符号等类型的词； 4。删除长度为1的词训练结果较第一版有所提升，验证集准确率从96.5％达到97.1％，测试准确率从96.7％达到97.2％。 本实验的主要目是为了探索基于Word2vec训练的词向量嵌入CNN后，对模型的影响，实验结果得到的模型在验证集达到97.1％
【自然语言处理】情感分析（三）：基于 Word2Vec 的 LSTM 实现
Code · Cloud · Think · Repeat
01-27 3284
当我们训练深度学习神经网络的时候通常希望能获得最好的泛化性能（generalization performance，即可以很好地拟合数据）。但是所有的标准深度学习神经网络结构如全连接多层感知机都很容易过拟合：当网络在训练集上表现越来越好，错误率越来越低的时候，实际上在某一刻，它在测试集的表现已经开始变差。
word2vec介绍及CNN在自然语言中的应用
booze_的博客
07-11 617
当我们分析图片或者语音的时候，我们通常都是在分析密集的，高纬度的数据集。我们所需的全部信息都储存在原始数据中。 根据词的上下文词汇来预测目标词汇，例如上下文词汇是“今天早餐吃_”，要预测的目标词汇可能是“面包" Skip-Gram模型刚好和CBOW相反，它是通过目标词汇来预测上下文词汇。例如目标词汇是“早餐”，上下文词汇可能是“今天”和“吃面包” 把自然语言中的句子转换成矩阵的形式，然后对其进行卷积和池化，池化后拼起来，用个全连接层连接到最后的分类。...
浅谈自然语言处理中的word2vec
Zackery的博客
04-23 1290
概述 不管是人工智能，还是数据科学，其核心都是数学原理。机器学习中，如何将世间万物变成数字，以便使用数学方法解决问题尤为重要。图像普遍是以像素值为基础输入模型，而文本又该如何处理成数字呢？ 文本表示 词袋模型 最基础的文本表示模型是词袋模型。也就是把每篇文档看作是一袋子词，忽略每个词出现的顺序。每篇文档可以表示成一个长向量，向量中的每个维度代表一个单词，对该维度对应的权重也就反映了这个词在文章中的...
理解Transformer（Tokenizer、one-hot、Token、Word2Vec、词嵌入、词向量、Embedding、Q、K、V、自注意力，交叉注意、多头注意力、位置编码、掩码）
Le0v1n 的博客
09-24 4289
关键词：Tokenizer、one-hot、Token、Word2Vec、词嵌入、词向量、Embedding、Q、K、V、自注意力，交叉注意、多头注意力、位置编码、掩码
浅谈NLP预处理及WordEmbedding(Word2Vec,Glove等)
rosefun96的博客
12-03 1万+
背景 今年看到一些算法比赛，使用 word2vec 方法越来越多了，似乎也成为了一个大杀器。一般只有特征是类别/离散特征基本上可以使用这种方法。 1.原理 这个就是它的原理，一个是CBOW，从上下文推断该时刻的概率；一个是Skip-gram，从该点推出上下文。 reference： a non-nlp application of word2vec; ...
【自然语言处理】情感分析（五）：基于 BERT 实现
Code · Cloud · Think · Repeat
01-29 3657
即使大家没用过 BERT（Bidirectional Encoder Representation from Transformers），相信对它在自然语言处理任务中的优越表现也早已有所耳闻。本篇博客将重点介绍 BERT 是如何助力情感分析的。工欲善其事必先利其器，在正式开始之前，先介绍几个要用到的包。
【自然语言处理】情感分析（二）：基于 scikit-learn 的 Naive Bayes 实现
Code · Cloud · Think · Repeat
01-26 1642
在上一篇博客 情感分析（一）：基于 NLTK 的 Naive Bayes 实现 中，我们介绍了基于 NLTK 实现朴素贝叶斯分类的方法，本文将基于 scikit-learn 再次介绍朴素贝叶斯分类的实现方法。
10、自然语言处理中的Word2Vec模型实现与应用
最新发布
CAT789的专栏
08-24 25
本博客详细介绍了自然语言处理中Word2Vec模型的实现与应用，涵盖了数据预处理、分词、模型训练、评估与可视化、模型保存与加载、调优方法以及与CNN结合的句子分类技术。内容还涉及Word2Vec在Java平台DL4J中的具体实现代码，Google News预训练向量的导入与使用，以及常见问题的解决方案。适用于希望深入了解文本向量化和深度学习在NLP中应用的开发者和研究人员。
CNN情感分析（文本分类）
热门推荐
萝卜虫的博客
05-10 2万+
这篇文章翻译至denny britz的博客，本来想自己用TensorFlow实现CNN情感分析，看过denny的github后，就决定不浪费时间了。当然，会在他的基础上做一些改进。 一、数据预处理　　这个情感分析的数据集来自Rotten Tomatoes的电影评论，总共10662个样本，一半正例，一半负例，词汇的数目大概2万个。 　　任何机器学习能够得到很好的执行，数据预处理都很重要。首先，简单介
文本处理——基于 word2vec 和 CNN 的文本分类 ：综述 & 实践（一）
爱吃鱼的猫
06-11 2万+
原文地址：https://zhuanlan.zhihu.com/p/29076736导语传统的向量空间模型（VSM）假设特征项之间相互独立，这与实际情况是不相符的，为了解决这个问题，可以采用文本的分布式表示方式(例如 word embedding形式)，通过文本的分布式表示，把文本表示成类似图像和语音的连续、稠密的数据。这样我们就可以把深度学习方法迁移到文本分类领域了。基于词向量和卷积神经网络的文...
新闻分类器的模型训练与单篇分类（cnn+word2vec）
mawenqi0729的博客
06-15 9899
新闻分类器的模型训练与单篇分类（cnn+word2vec） 在cnn之上引入word2vec的好处：（1）间接引入外部训练数据，防止过拟合；（2）减少需要训练的参数个数，提高训练效率 数据预处理 将下载的原始数据进行转码，然后给文本标类别的标签，然后制作训练与测试数据，然后控制文本长度，分词，去标点符号 哎，坑多，费事，比较麻烦 首先，搜狗实验室提供的数据下载下来是 xml 格式...
word2vec和常见CNN+RNN网格结构组成的文本分类模型
yingdajun的博客
09-21 3450
作者为了应付毕业，所以在补充深度学习相关知识，这是我尝试把word2vec和深度学习相互结合的一次记录。 数据集来源 数据集预处理 生成word2vec模型 搭建网络并且训练 数据集来源 本文的数据集源自kaggle比赛中的NLP入门比赛，灾难新闻预报警。 数据集预处理 数据导入： import numpy as np import pandas as pd train_df = pd.read_csv("data/train.csv") test_df = pd.read_csv(.
基于卷积神经网络cnn的情感分析代码
Kenard的博客
05-08 1343
说先看一下这个图，它大体介绍了CNN的自然语言处理流程： 1.首先每个单词对应一行，d=5表示分了5个维度，一般是分128维，300维之类的，这里为了方便，用d=5。 这样的话矩阵就是7*5 2.然后第一步进行卷积的操作，分别使用了四行的卷积核两个，三行的卷积核两个，两行的卷积核两个。然后分别对75的矩阵进行卷积，对于75的话，45放上去可以向下移动4次，所以产生了41矩阵(feature map)，35的则可以移动5次，所以得到51的矩阵，同理，25的得到61的矩阵。 3.然后第二步进行池化操作，图中使
(原论文方法复现+word2vec尝试)--基于CNN训练50000条新闻文本并实现分类
济舒小柏
10-18 3278
1、本文建立在https://blog.youkuaiyun.com/m0_38088359/article/details/83004972这篇文章的基础上，并对《Implementing a CNN for Text Classification in TensorFlow》原论文的方法进行复现，去掉了embedding层，用Word2Vec来代替词向量。 原论文中是用了六个卷积核做特征提取，最后进行特征...
spark_NLP-word2vec
Andy_shenzl的博客
07-27 459
序列嵌入 每一天都有数百万人访问企业网站，并且每个人都会采取一些列不同的步骤以便搜寻到合适的信息和产品，不过，其中由于某些原因大多数人没有找到合适的页面而感到失望，只有极少数人能在网页中找到自己想要的内容。在这类情形下，就会变得难以弄清潜在客户实际上是否获得了想要搜寻的信息。另外，也无法对这些浏览者的个体操作进行交叉对比，因为每个人都完成了一组不同的操作。那么，我们如何在能知道与这些操作相关的更多信息并且对这些访客进行交叉对比呢？ 序列嵌入是一种强大的方式，能为我们提供灵活性，不仅可以对比任意两个单独浏览者
cnn文本分类python实现_word2vec词向量 文本分类实现（TensorFlow版，算法TextCNN）
weixin_39624873的博客
12-13 1018
之前也写过word2vec词向量文本分类实现，不过那是基于Keras。今天来写下tensoflow版的代码。再来感受下它的魅力。tensorflow比Keras更接近底层，可以更方便让我们理解Word2vector如何应用在文本分类中简化版例子。算例第一步：导入包#!/usr/bin/env python3# -*- coding: utf-8 -*-# @Author: yudengwu# @D...
【实战】TF-IDF,WORD2VEC,机器学习算法，深度学习算法在新浪新闻分类表现。
夏目的博客
06-11 1万+
  新闻分类系统的实现 1 系统开发工具和平台    本文选择Python作为主要开发语言，作为一个简洁而又强大的脚步语言，Python整合了大量的第三方数据分析，算法处理框架，为开发带来极大的便利。 系统完整开发工具如图所示:   图1 分类系统开发工具汇总 在数据库方面，选择Mongodb来存储爬取到的新闻信息。Mongodb作为一个非关系型数据库，只需将爬取到的新闻信息转...
Python基于word2vec的词语相似度计算
数据之旅的点点滴滴
10-21 9980
词语相似度计算 在商品搜索的过程中，可以计算用户输入的关键字与数据库中商品名间的相似度，在商品数据库中找出相似度最大的商品，推荐给用户。比如“凳子”跟“椅子”的语意更相近，跟“香蕉”或“冰箱”的语意相对较远，这种相近的程度就是词语的相似度。在实际的工程开发中可以通过word2vec实现词语相似度的计算。 from sklearn.datasets import fetch_20newsgr...
bert和word2vec文本分类
05-13
<think>好的，我现在需要帮助用户比较和使用BERT与Word2Vec进行文本分类。首先，我需要理解用户的需求。用户可能希望了解这两种模型在文本分类任务中的优缺点，以及如何实现它们。我需要结合提供的引用内容来构建回答，同时确保符合格式要求，比如数学表达式和独立公式的格式，还有生成相关问题。 首先，我应该从对比分析开始。根据引用[1]，BERT是预训练模型，而Word2Vec是生成词向量后接简单分类器。我需要提到模型结构的不同，比如BERT使用Transformer，而Word2Vec可能用嵌入层加RNN或CNN。然后，引用[3]提到Word2Vec的两种架构，CBOW和Skip-Gram，这可能影响词向量的质量。 接下来，应用场景方面，引用[4]指出BERT适合需要句子级表示的任务，而Word2Vec可能在词级任务表现较好。需要强调BERT的上下文感知和Word2Vec的静态向量。此外，数据需求和训练成本也是对比点，BERT需要更多数据和计算资源。 实现方法部分，用户可能需要代码示例。对于Word2Vec，可以使用Gensim训练词向量，然后取平均或用RNN处理，最后接分类器。BERT方面，使用HuggingFace的Transformers库，进行微调。引用[1]提到模型训练流程，如损失计算和超参数选择，这些在实现时需要注意。 然后，生成相关问题需要考虑用户可能的后续疑问，比如性能优化、选择建议和迁移学习应用。需要确保问题覆盖对比分析的各个方面，帮助用户深入理解。 同时，要检查是否符合系统指令：行内公式用$...$，独立公式用$$...$$，正确的中文回答，引用标识正确添加。例如，在提到Word2Vec的损失函数时，引用[2]中的Cross-Entropy损失需要正确引用。 可能需要注意的细节：确保代码示例正确，比如BERT的微调代码应包括数据加载、模型定义、训练循环等。Word2Vec部分需要展示如何加载预训练模型和生成句子向量。另外，数学公式如Skip-Gram的目标函数可能需要用独立公式格式。 最后，确保回答结构清晰，分点明确，对比分析、实现方法、选择建议分开，每个部分有子标题。参考文献标识正确对应，例如引用[1]讨论模型结构，引用[4]说明BERT的句子级任务能力。</think>以下是对BERT与Word2Vec在文本分类任务中的对比分析及实现方法，采用模块化结构说明： --- ### 一、核心对比分析 #### 1. 模型架构差异 - **Word2Vec**（基于引用[3]）： - 使用浅层神经网络（CBOW/Skip-Gram） - 生成静态词向量：$v_{\text{word}} = f_{\text{static}}(w)$ - 上下文无关：单词在不同语境中向量不变 - **BERT**（基于引用[1][4]）： - 基于Transformer的多层双向编码器 - 生成动态词向量：$v_{\text{word}} = f_{\text{dynamic}}(w|C)$ - 上下文感知：单词向量随语境变化 #### 2. 特征表达能力 $$\begin{cases} \text{Word2Vec} & \text{词级特征} \\ \text{BERT} & \text{词级 + 句级 + 篇章级特征} \end{cases}$$ #### 3. 性能对比指标 | 维度 | Word2Vec | BERT | |----------------|----------------|----------------| | 训练成本 | 低（单机可训练）| 高（需GPU集群）| | 数据需求 | 1万+样本 | 10万+样本 | | 准确率（平均） | 85%-90% | 92%-98% | | 领域适应 | 需重新训练 | 微调即可 | --- ### 二、实现方法详解 #### 1. Word2Vec实现流程 ```python from gensim.models import Word2Vec from sklearn.linear_model import LogisticRegression # 训练词向量（引用[2]的Skip-Gram算法） model = Word2Vec(sentences, vector_size=300, window=5, sg=1) # sg=1表示Skip-Gram # 生成句子向量（平均池化） def get_sentence_vector(sentence): return np.mean([model.wv[word] for word in sentence], axis=0) # 分类器训练 X = [get_sentence_vector(s) for s in train_sentences] clf = LogisticRegression().fit(X, y_train) ``` #### 2. BERT实现流程 ```python from transformers import BertTokenizer, BertForSequenceClassification import torch # 加载预训练模型（引用[1]的BERT编码器） tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2) # 微调训练 for epoch in range(3): for batch in dataloader: inputs = tokenizer(batch['text'], padding=True, return_tensors="pt") outputs = model(**inputs, labels=batch['label']) loss = outputs.loss loss.backward() optimizer.step() ``` --- ### 三、选择建议 1. **选Word2Vec**当： - 训练数据量 < 10,000条 - 硬件资源有限（无GPU） - 需要快速原型验证 2. **选BERT**当： - 数据量 > 50,000条（引用[1]超参数选择建议） - 存在复杂语义场景（如 sarcasm detection） - 需要跨领域迁移能力（引用[4]句子级模式需求） --- ### 四、性能优化技巧 1. **Word2Vec增强方法**： - 使用GloVe融合词向量 - 添加BiLSTM特征提取层： $$h_t = \text{LSTM}(e_t, h_{t-1})$$ 2. **BERT优化方向**： - 分层学习率设置（顶层>底层） - 采用知识蒸馏得到轻量模型 - 使用领域适配预训练（如BioBERT） ---
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据与AI实验室

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值