python爬去新浪微博_GitHub - dataabc/weiboSpider: 新浪微博爬虫,用python爬取新浪微博数据...

这是一个Python爬虫,用于爬取并存储新浪微博用户的详细信息,包括用户数据、微博内容、图片和视频。可选择将数据保存到txt、csv、json、MySQL、MongoDB或SQLite。同时提供了免cookie版,支持下载图片和视频。程序需要设置cookie以获取访问权限,或者使用免cookie版。爬取的信息包括用户昵称、性别、生日、微博数、关注数等,并包含微博的详细信息如内容、发布时间、点赞数等。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

badge.svg

68747470733a2f2f696d672e736869656c64732e696f2f707970692f707976657273696f6e732f776569626f2d737069646572

68747470733a2f2f62616467652e667572792e696f2f70792f776569626f2d7370696465722e737667

Weibo Spider

本程序可以连续爬取一个或多个新浪微博用户(如胡歌、迪丽热巴、郭碧婷)的数据,并将结果信息写入文件或数据库。写入信息几乎包括用户微博的所有数据,包括用户信息和微博信息两大类。因为内容太多,这里不再赘述,详细内容见获取到的字段。如果只需要用户信息,可以通过设置实现只爬取微博用户信息的功能。本程序需设置cookie来获取微博访问权限,后面会讲解如何获取cookie。如果不想设置cookie,可以使用免cookie版,二者功能类似。

具体的写入文件类型如下:

写入txt文件(默认)

写入csv文件(默认)

写入json文件(可选)

写入MySQL数据库(可选)

写入MongoDB数据库(可选)

写入SQLite数据库(可选)

下载用户原创微博中的原始图片(可选)

下载用户转发微博中的原始图片(免cookie版特有)

下载用户原创微博中的视频(可选)

下载用户转发微博中的视频(免cookie版特有)

下载用户原创微博Live Photo中的视频(免cookie版特有)

下载用户转发微博Live Photo中的视频(免cookie版特有)

内容列表

获取到的字段

本部分为爬取到的字段信息说明,为了与免cookie版区分,下面将两者爬取到的信息都列出来。如果是免cookie版所特有的信息,会有免cookie标注,没有标注的为二者共有的信息。

用户信息

用户id:微博用户id,如"1669879400",其实这个字段本来就是已知字段

昵称:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值