11. BI - 如何在 Python 中进行分词并展示词云

最新推荐文章于 2025-06-03 19:16:49 发布
最新推荐文章于 2025-06-03 19:16:49 发布
阅读量832 收藏 20
点赞数 24
分类专栏： 茶桁的AI秘籍#BI 茶桁的 AI 会员专栏 文章标签： python 词云展示 数据可视化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ivandoo/article/details/136023438
版权

本文为 「茶桁的 AI 秘籍 - BI 篇 第 11 篇」

在这里插入图片描述

文章目录


Hi, 你好。我是茶桁。

之前两节课，咱们学习了基础的数据可视化工具以及决策树的可视化。今天这节课，咱们要看到的是另外一个场景，叫做词云展示。

词云应该所有人都不会陌生，一般什么时候用呢？

2007 年的时候北京的 Google 总部，一进入谷歌大楼就有一个非常震撼的场景，在谷歌的大屏幕里面就放了一个词云的展示。其实现在都知道是词云展示，技术并不是很难。它有个地

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Python 实现关联规则挖掘
学习使你进步。
05-25 464
结果中，antecedents 和 consequents 分别表示关联规则的前件和后件，support 表示项集的支持度，confidence 表示关联规则的置信度，lift 表示关联规则的提升度。需要注意的是，在实际应用中，还需要结合业务背景进行规则的筛选和解释，以达到更好的效果。其中，metric 参数表示评价关联规则质量的指标，这里采用的是 lift（提升度），min_threshold 表示限制关联规则的最小阈值，这里设置为 1。得到频繁项集后，就可以生成关联规则了。
机器学习笔记 - 什么是先验算法(Apriori Algorithm)？
学以致用 知行合一
05-19 3258
Apriori算法由R. Agrawal和R. Srikant在 1994 年给出，用于在数据集中查找关联规则的频繁项集。该算法的名称是 Apriori，因为它使用了频繁项集属性的先验知识。换句话说，我们可以说先验算法是一种关联规则学习，例如分析购买了产品 A 的人也购买了产品B。 我们举一个例子来更好地理解这个概念。比如比萨店的卖家将比萨、软饮料和面包棒组合在一起。他还为购买这些组合的客户提供折扣。你有没有想过他为什么要这样做？他认为购买披萨的顾客也会购买软饮料和面包棒.........
Project 3 :挖掘数据集中的关联商品
AwesomeDong的博客
09-08 598
三种方式 import pandas as pd import numpy as np from efficient_apriori import apriori #加载数据 data = pd.read_csv('Market_Basket_Optimisation.csv', header = None) data = data.fillna(0) #print(data) #将数据整理成Transaction列表 transaction = [] for i in range(data.shape[
先验算法
hebi123s的博客
10-11 1374
# Apriori # Importing the libraries import numpy as np import matplotlib.pyplot as plt import pandas as pd # Data Preprocessing dataset = pd.read_csv('Market_Basket_Optimisation.csv', header = None)...
Market_Basket_Apriori
小白菜的博客
07-01 501
!pip install efficient_apriori import pandas as pd import numpy as np from efficient_apriori import apriori # 数据加载 dataset = pd.read_csv('./Market_Basket_Optimisation.csv', header=None) print(dataset.shape) print(transcations) # 将数据存放到transactions中 t
WordCloud做Market_Basket_Optimisation数据集词云可视化
qq_27328197的博客
03-02 556
文章目录前言步骤流程总结 前言 WordCloud在nlp和推荐系统中有很多的应用，可以很直观的将文本库中的语料可视化出来。本文以Market_Basket_Optimisation数据集为例做一下词云可视化。 步骤流程 （最近时间精力有限）具体流程代码见github：WordCloud做Market_Basket_Optimisation数据集词云可视化，并输出Top10。 总结 (如果您发现我写的不对，欢迎在评论区批评指正)。 ...
python中文文本分词_Python中文文本分词、词频统计、词云绘制
weixin_35740442的博客
01-14 1434
本文主要从中文文本分词、词频统计、词云绘制方面介绍Python中文文本分词的使用。会使用到的中文文本处理包包括：wordcloud,jieba，re(正则表达式),collections。1 准备工作导入相关的包，读取相关数据。#导入包import pandas as pd #数据处理包import numpy as np ...
自然语言处理（NLP）---文本处理（分词与词云图）
weixin_43444329的博客
06-24 1313
为什么要分词？ 词是语义表达的基本单位 英文词与词之间有空格 中文词与词之间无界限 分词原理 基于字典 机器学习：HMM、CRF 深度学习：Bi-LSTM+CRF 开源工具 jieba:MIT协议(python) LTP:哈工大开源（C++） THUNLP:清华开源(C++) 分词工具--jieba分词 “结巴” 中文分词：做最好的python中文分词组件 三种分词模式： 1. 精确模式：适合文本分析（最常用）（本来应该分为那些就是那些） 例...
python词频统计完整步骤_Python中文文本分词、词频统计、词云绘制
weixin_39622655的博客
11-24 2389
本文主要从中文文本分词、词频统计、词云绘制方面介绍Python中文文本分词的使用。会使用到的中文文本处理包包括：wordcloud,jieba，re（正则表达式）,collections。1 准备工作导入相关的包，读取相关数据。#导入包import pandas as pd #数据处理包import numpy as np ...
powerbi python词云图_Power BI 标签云可视化
weixin_39970369的博客
12-22 1130
网易云课堂帮我提取出了所有课程的评价信息，那么我们可以做一个文本分析，用标签云的方式进行可视化，看看各位学员们都是如何评价我们课程的。1、分词与词频统计要做标签云可视化，首先需要对这些评论进行分词，分出一个一个的关键字标签，然后统计他们的频次，得到词频表。要对文本进行分词，可以使用分词工具。我尝试了几个在线的文本分词工具，遗憾的是没有一个好使的，结果都不理想，没法用。看了一下资料呢，目前好像也都没...
python 关联规则(Association Rules)理论、Apriori算法案例实战
Huangxin_Yu的博客
09-21 3766
关联规则、Apriori算法原理及实战关联规则中三个重要知识点Apriori算法原理Apriori算法原理Apriori算法流程Apriori算法案例Apriori算法应用 关联规则中三个重要知识点 某家水果店的订单清单如下： 购物单号 购买的水果 1 苹果、香蕉、梨 2 苹果、香蕉、梨、芒果 3 香蕉、梨、芒果、水蜜桃 4 苹果、芒果 5 苹果、水蜜桃 支持度：百分比数，表示一个商品组合出现的次数与总次数之间的比值，支持度越高，说明组合出现的概率越高。 Support(
instacart-market-basket-analysis.zip
07-31
探究用户对物品类别的喜好细分降维案例中需要的数据。该压缩包包括products.csv、order_products__prior.csv、orders.csv、aisles.csv等数据。除此之外，还包括利用PCA降维的python程序。
market-basket-analysis:我使用Apriori算法在此项目中执行了“市场篮子分析”。 Apriori算法是数据挖掘中的经典算法。它用于挖掘频繁项集和相关的关联规则。它被设计为在包含大量交易的数据库上运行，例如，商店中客户带来的物品
03-21
market-basket-analysis:我使用Apriori算法在此项目中执行了“市场篮子分析”。 Apriori算法是数据挖掘中的经典算法。它用于挖掘频繁项集和相关的关联规则。它被设计为在包含大量交易的数据库上运行，例如，商店中客户带来的物品
RS推荐系统-关联规则-Apriori
你好，今天的你
07-05 774
关联规则 关联规则又称为：Association Rules，旨在表达：如果一个消费者购买了产品A，那么他有多大几率会购买产品B? 故事背景：沃尔玛在分析销售记录时，发现啤酒和尿布经常一起被购买，于是他们调整了货架，把两者放在一起，结果真的提升了啤酒的销量。 原因解释：爸爸在给宝宝买尿布的时候，会顺便给自己买点啤酒？ 沃尔玛是最早通过大数据分析而受益的传统零售企业，对消费者购物行为进行跟踪和分析。 对于关联规则，引入下面三个概念：支持度、置信度和提升度 支持度 支持度：是个百分比，指的是某个商品组合出现的次
NSSCTF [LitCTF 2025]test_your_nc
最新发布
2401_88087539的博客
06-03 73
pwn新手小白，写完题后整理的一点点思路，有借鉴其他wp，有任何问题各位师傅可以提出，接收批评指正
Java BigInteger类详解与应用
m0_74482103的博客
05-31 682
通过合理运用BigInteger类，开发者可以处理任意精度的整数运算需求，适用于金融计算、密码学、科学计算等领域。注意根据具体场景选择合适的方法，并做好异常处理与性能优化。Biglnteger b1 = new Biglnteger("整数");2.如何获取BigInteger的对象?总结：1.Biglnteger表示一个大整数。
Python 验证码识别(使用pytesseract库)
宁静致远
06-01 439
Tesseract是一个高度精确的开源OCR（光学字符识别）系统，广泛应用于文本识别项目中。结合Python的pytesseract库，实现图片文字的提取。
LLMs之Tool：Workflow Use的简介、特点、安装和使用方法、以及案例应用
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-31 655
​ LLMs之Tool：Workflow Use的简介、特点、安装和使用方法、以及案例应用 目录 Workflow Use的简介 Workflow Use的安装和使用方法 Workflow Use的案例应用 Workflow Use的简介 Workflow Use 旨在提供一种简便的方式来创建和执行确定性的工作流程。它利用变量，并在步骤失败时回退到 Browser Use。用户只需向记录器展示工作流程，Workflow Use 就能自动生成相应的工作流程。该项目尚处于早期开发
uv：现代化的 Python 包和项目管理工具
hello！
05-31 829
摘要： uv是由Astral团队开发的Rust高性能Python包管理工具，旨在替代传统工具链（如pip、virtualenv）。其核心优势包括极速依赖解析（比传统工具快10–100倍）、内置虚拟环境管理、多Python版本支持，以及通过pyproject.toml统一依赖管理。安装简单，支持脚本、Homebrew或pip；常用操作如创建虚拟环境（uv venv）、依赖管理（uv add/sync）、运行脚本（uv run）等均高度简化。uv还支持自动下载指定Python版本，显著提升开发效率，适合现代Py
Word2Vec在生鲜电商情感分析中的具体应用？
04-22
<think>好的，我现在需要回答用户关于Word2Vec在生鲜电商情感分析中的具体应用方法和步骤的问题。用户还提供了几个引用，我需要参考这些引用以及之前的对话内容来构建回答。 首先，回顾用户之前的问题和我的回答。用户之前询问了使用jieba分词和Word2Vec训练农产品评论词向量的方法，我详细介绍了预处理、分词、Word2Vec参数设置、负采样技术、领域词汇增强等内容，并生成了相关问题，其中包括用户现在提出的问题：“Word2Vec在生鲜电商情感分析中的具体应用？” 现在用户明确想了解具体方法和应用场景，我需要结合之前的回答和提供的引用信息来组织内容。 首先，根据引用[3]，词嵌入如Word2Vec可以将词语转换为向量，捕捉语义信息，这对于情感分析非常重要，因为情感词和其上下文的关系会影响情感判断。例如，“新鲜”和“美味”可能在向量空间中接近，都表示正面情感。 引用[1]提到词云用于查看高频词，这可能用于预处理阶段检查分词效果，确保情感相关的词汇被正确提取。引用[4]提到时空场景对推荐的影响，虽然主要关于推荐系统，但可以联想到情感分析可能需要考虑时间因素，比如节假日用户评论的情感变化。 引用[5]提到将离散ID映射为向量，类似于Word2Vec处理词语，这可能应用在生鲜电商中处理用户ID或产品ID，但用户的问题是关于情感分析，所以重点应放在文本处理上。 现在需要构建具体方法和步骤： 1. **数据预处理**：使用jieba分词，结合领域词典（如生鲜相关词汇），去除停用词，清洗数据。引用[1]中的词云可以用来验证高频词是否合理，确保情感词汇被正确保留。 2. **训练Word2Vec模型**：使用预处理后的文本训练词向量，参数如vector_size=100, window=5等，如之前回答中的代码示例。引用[3]提到Word2Vec属于基于上下文的词嵌入方法，能捕捉语义信息，这对情感分析有帮助。 3. **特征提取**：将评论中的词语转换为词向量，然后生成整个评论的向量表示，比如通过平均词向量或使用TF-IDF加权平均。 4. **构建情感分析模型**：使用生成的文本向量作为特征输入到分类模型（如SVM、LSTM、BERT等）中进行情感分类。引用[2]提到GPT-4V的多模态处理，但这里可能主要使用传统机器学习或深度学习模型。 5. **领域适应**：根据引用[3]和之前的领域词汇增强，针对生鲜电商调整词向量，例如增强“新鲜”、“腐烂”等词的区分度，提升情感分析的准确性。 6. **应用场景**：根据引用[4]中的时空场景，可以分析不同时间段或季节的用户情感变化，比如节假日期间生鲜产品的满意度，或者特定时间段（如早餐时段）的评论情感。 需要注意引用文献的正确应用，比如引用[1]用于预处理阶段的词云验证，引用[3]解释Word2Vec的原理，引用[4]关联时空因素的应用场景。同时，结合之前的回答中的分词和训练步骤，确保步骤连贯。 可能还需要考虑负采样技术（之前的回答提到）在训练Word2Vec时的作用，以及如何评估词向量质量，比如通过相似词检索或分类模型的效果。 最后，应用场景部分需要具体举例，如用户评论的情感倾向分析、产品问题定位、改进服务质量等，结合生鲜电商的特点，如对配送速度、产品新鲜度的关注。</think>### Word2Vec在生鲜电商情感分析中的具体方法与步骤 #### 一、方法流程 1. **数据预处理与特征工程** - **清洗与分词**：使用jieba结合生鲜领域词典（如"冷链配送"、"农药残留"等）进行精准分词，保留情感相关词汇（如"新鲜"、"变质"）[^1] - **词云验证**：通过引用[1]方法生成词云，确认高频情感词分布合理性（如图1所示） ```python from wordcloud import WordCloud wordcloud = WordCloud(font_path='msyh.ttc').generate(' '.join(filtered_words)) plt.imshow(wordcloud) ``` - **向量空间构建**：通过Word2Vec SkipGram模型训练词向量，参数设置： ```python model = Word2Vec(sentences, vector_size=100, window=3, sg=1, negative=15, min_count=10) ``` 2. **语义特征提取** - **短文本向量化**：采用加权平均法生成评论文本向量： $$ \text{TextVector} = \frac{\sum_{w \in S} \text{TF-IDF}(w) \cdot \text{Word2Vec}(w)}{\sum_{w \in S} \text{TF-IDF}(w)} $$ - **上下文感知**：捕捉如"虽然配送慢，但水果很新鲜"中的转折关系，通过窗口滑动提取局部语义特征 3. **情感建模** - **特征组合**：融合词向量特征与生鲜业务特征（参考引用[4]的时空特征）： ```python X = np.hstack([text_vectors, time_features, product_features]) ``` - **模型选择**： - 传统模型：SVM/Random Forest（适合小样本） - 深度模型：BiLSTM+Attention（结构如图2） ```python model.add(Bidirectional(LSTM(64, return_sequences=True))) model.add(AttentionWithContext()) ``` #### 二、关键应用场景 1. **评论情感归因分析** - 通过`model.wv.most_similar('腐烂', topn=10)`发现关联词（如"异味"、"软烂"），定位商品质量问题 - 结合引用[4]的时空分析，发现配送延迟导致的负面评价集中在午间高峰时段 2. **情感驱动的推荐优化** - 将情感倾向作为特征输入推荐系统（参考引用[5]的ID向量化思想） - 示例：对"冷链配送"持正面评价的用户，优先推荐需低温保存的高端水果 3. **多模态情感分析** - 结合引用[2]的GPT-4V技术，处理带图评论： ```python # 图像特征提取 img_features = vision_model.extract(img_path) # 文本特征融合 multimodal_vector = concat([text_vector, img_features]) ``` #### 三、领域优化策略 1. **词向量微调** - 对生鲜领域核心词进行二次训练： ```python domain_words = ['冷链', '有机认证', '短保'] model.train([domain_words], epochs=5, total_examples=1) ``` 2. **情感词典增强** - 构建领域情感词典（如表1）： | 情感极性 | 生鲜相关词汇 | |----------|-----------------------| | 正向 | 脆甜多汁, 活鱼现杀 | | 负向 | 以次充好, 包装破损 | 3. **评价维度解构** - 基于词向量聚类分析，自动发现评价维度： ```python from sklearn.cluster import KMeans kmeans = KMeans(n_clusters=5).fit(word_vectors) # 典型聚类结果：{商品质量, 物流服务, 性价比, 售后服务, 包装体验} ``` #### 四、效果验证 1. **定量评估** - 使用准确率、F1-score等指标，对比不同词向量维度效果（表2）： | 向量维度 | Accuracy | Macro-F1 | |----------|----------|----------| | 50 | 82.3% | 0.814 | | 100 | 85.7% | 0.853 | | 200 | 85.9% | 0.856 | 2. **可视化分析** - 通过t-SNE展示情感词分布（如图3）： ```python from sklearn.manifold import TSNE tsne = TSNE(n_components=2).fit_transform(vectors) plt.scatter(tsne[:,0], tsne[:,1], c=label_colors) ``` ### 典型应用案例 **案例1：季节性商品舆情监控** - 分析车厘子上市季的评论情感变化： ```python 时间序列情感分析代码框架 ``` **案例2：供应链问题溯源** - 通过`model.wv.distance('配送员', '态度差')`检测物流服务问题 **案例3：新品市场反响预测** - 基于"植物肉"等新品的早期评论情感，预测市场接受度 --- ### 注意事项 1. 需定期更新词向量模型（建议季度更新） 2. 处理否定句时需结合依存句法分析（如"不算新鲜"） 3. 注意地域方言对情感表达的影响（如"巴适"表示满意） --- ### 延伸问题 1. 如何解决生鲜评论中专业术语的歧义问题？ 2. 对比Word2Vec与BERT在生鲜情感分析中的优劣？ 3. 如何构建生鲜领域的跨语言情感分析系统？ : 词云验证方法来自文本预处理标准流程 [^2]: 多模态分析参考了GPT-4V的最新应用 [^3]: 词向量理论基础详见分布式表示研究 [^4]: 时空特征应用启发自美团推荐系统实践 [^5]: ID向量化思想源自深度表征学习研究
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

茶桁

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值