B站评论爬虫

本文介绍了一个简单的B站评论爬虫,适用于初学者。通过参考B站UP主的视频,作者修改并实现了一个爬虫,仅抓取每个ID的唯一评论,包括楼中楼评论。使用Python进行开发,通过观察网络请求分析评论页面URL规律,从而获取评论数据。

是一个很简易的爬虫,我自己作业用一下下,参考的是B站一位叫大野喵渣的up的视频,点我看
在这个基础上根据我自己的水平和需要稍作修改,希望能给向我一样不知爬虫为何物但是确实需要用的24k纯小白一些帮助。
这里只爬评论,目的是要那种排列好一行一行的评论,包括楼中楼评论,但是每个id只爬取一条。

首先打开python,用这三个包

import requests
import json
import pprint

在打开我们要爬的视频,右键检查,点network,不用点刷新,直接点评论最后一页,在查找框里随便输入此页的一个评论,点开它得到URL,
在这里插入图片描述
另起一页打开,发现是肥肠抱歉,把网址里&前的一长串数字包括&删掉,
在这里插入图片描述
就看到一大坨代码中间夹杂着评论和用户信息一类的东西,复制这个网址。
在这里插入图片描述
上图pn=80就是我爬的视频的最后一页是第80页。

r = requests.get('填复制好的网址')
data = json.loads(r.text)

for page in range(1,最后一页的页码):
	r = requests.get('还是那个网址,将其中pn=的数字删掉,换成{}'.format(page))
	data 
B评论爬虫的实现方法通常涉及分析反爬机制、请求模拟、页面解析、数据提取和存储等步骤,还可加入代理信息以规避反爬虫机制。以下是根据引用内容总结的相关实现思路及代码示例说明: 实现方法: - 分析反爬机制:了解B的反爬虫策略,如IP封禁、请求频率限制等,为后续规避做准备。 - 请求模拟:模拟浏览器请求,包括设置请求头信息,伪装成正常用户的访问行为。 - 页面解析:对获取的页面内容进行解析,可使用如正则表达式、BeautifulSoup等工具。 - 数据提取:从解析后的页面中提取所需的评论数据。 - 数据存储:将提取的评论数据保存到合适的存储介质中,如数据库。 - 规避反爬虫机制:在代码中加入代理信息,避免因频繁请求被封禁IP。 代码示例:虽然引用中未给出具体代码,但结合上述思路,一个简单的Python爬虫框架示例如下(仅为示意,实际应用需根据B接口和反爬机制调整): ```python import requests from bs4 import BeautifulSoup # 设置请求头,模拟浏览器访问 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} # 视频评论页的URL,需替换为实际URL url = 'https://example.bilibili.com/video/comment' try: # 发送请求 response = requests.get(url, headers=headers) # 检查请求是否成功 if response.status_code == 200: # 使用BeautifulSoup解析页面 soup = BeautifulSoup(response.text, 'html.parser') # 提取评论数据,这里需要根据实际页面结构调整选择器 comments = soup.find_all('div', class_='comment') for comment in comments: print(comment.text) else: print(f"请求失败,状态码: {response.status_code}") except requests.RequestException as e: print(f"请求发生错误: {e}") ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值