新浪微博生成词云

SCUTJcfeng

于 2018-03-27 22:09:04 发布

阅读量1w

点赞数

CC 4.0 BY-SA版权

分类专栏： Python 文章标签： Scrapy

本文链接：https://blog.youkuaiyun.com/SCUTJcfeng/article/details/79719902

本文介绍如何利用Scrapy爬取新浪微博内容，然后使用Wordcloud库生成词云。通过爬取指定UID的大V微博，解析JSON数据，过滤不需要的内容，处理后的文本通过词云展示。文章详细讲解了抓取过程、数据处理和词云生成的步骤，并给出了不同参数设置对词云效果的影响。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

新浪微博生成Wordcloud（词云）

1 前言

1.1 目的

本篇主要介绍新浪微博内容生成Wordcloud（词云），我举了一个炒鸡简单的例子。

1.2 工具

Wordcloud 词云（pip install wordcloud安装即可）
jieba 分词（pip install jieba安装即可）

1.3 相关网址

Wordcloud API References：http://amueller.github.io/word_cloud/references.html
微博内容API：https://m.weibo.cn/api/container/getIndex?type=uid&value=2309846073&containerid=1076032309846073&page=1

2 过程

2.1 思路分析

爬取微博内容，这里爬取id为2309846073的大V，目标URL为https://m.weibo.cn/u/2309846073；
查看API，containerid固定为10760+uid，page递增即可，返回json数据；
引入Wordcloud模块，生成词云。

2.2 步骤

本人用Scrapy实现数据抓取，Spider下parse改写如下：

    def parse(self, response):
        json_body = json.loads(response.body)
        data = json_body['da

最低0.47元/天解锁文章