爬虫实践---新浪微博爬取+json+csv

最新推荐文章于 2025-10-02 12:44:17 发布

原创

最新推荐文章于 2025-10-02 12:44:17 发布 · 2.7k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#json #csv #新浪微博

本文介绍了如何免登录爬取新浪微博，通过解析URL中的OID，访问特定用户的微博。使用JSON在线解析工具理解数据结构，通过Python的json模块解析网页内容。通过迭代页码获取微博列表，过滤非博文内容，并使用代理IP防止IP被封。最后，将数据存储为CSV文件，也可进行词云分析。

首先，奉上女神微博词云一张：

在此之前，我一直以为新浪微博的爬取，需要模拟登录等等

偶然之间，在小歪哥那里得知，有一个网站可以免登录爬取：https://m.weibo.cn/u/+oid，这个oid可以从普通新浪微博那里得到。

点击一个关注用户首页，查看其网页源码，源码页搜索用户名，就会看到如下的内容：

这个oid就是url里面需要的那个，根据url打开微博链接：

打开开发者工具，这个类似于今日头条的页面，具体可参见今日头条的写作过程。

发现请求网页实际是：

打开上述链接，会发现网页内容并非常见的格式，需要来解析一下，推荐一个json格式在线解析网站：http://www.json.cn/，利用这个就可以看到json格式的网页内容：

import json，用来解析网页内容。接下来可以访问一个页面，看看我们的思路是否正确。

打开URl

https://m.weibo.cn/api/container/getIndex?type=uid&value=1280761142&containerid=1005051280761142

在XHR里面发现：

通过对该网页的json格式转换找到微博总数量和微博名称：

#!/usr/bin/env python
# coding=utf-8

import requests
import bs4
import json
import re
import random
import csv

headers = {'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36'}
total_number = 0
#https://m.weibo.cn/api/container/getIndex?type=uid&value=1280761142&c