python实现B站评论分页爬取

Z.xh

已于 2024-02-06 15:11:44 修改

阅读量3.2k

点赞数 23

文章标签： python 爬虫开发语言

于 2024-02-06 11:53:54 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_51575130/article/details/135968715

版权

具体步骤：

1.指定url网址

在这里随便点开B站首页推送的一个视频内容

2.打开开发者工具，点击网络刷新界面，下滑页面数据让数据加载出来，随便选择一条评论复制，粘贴到开发工具中的搜索框中，找到对应的包

这里的url即为保存评论所在的网址。

3.查看预览，能看到评论信息再replies中，这里分别爬取评论内容，点赞数量，IP属地，性别信息。

4.单页爬取代码：

import requests
import csv

f = open('data.csv', mode='w', encoding='utf-8', newline='') #创建文件对象，保存数据
csv_writer = csv.DictWriter(f, fieldnames=[
                '昵称',
                '性别',
                'IP',
                '评论',
                '点赞',
])
csv_writer.writeheader()
headers={
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 Edg/119.0.0.0',
        'Cookie':'浏览器中对应的cookie',
        'Referer':'https://www.bilibili.com/'
}
url = 'https://api.bilibili.com/x/v2/reply/wbi/main?oid=1100057498&type=1&mod