[python爬虫] bilibili视频评论翻页功能

最新推荐文章于 2025-06-16 09:08:58 发布
原创 最新推荐文章于 2025-06-16 09:08:58 发布 · 1.5k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python爬虫 #bilibili视频评论翻页

部署运行你感兴趣的模型镜像

bilibili视频评论翻页逻辑

翻页功能 (Android App抓包 不是web端 但原理都适用)

设 1. 总评论数y

     2. 第几页(当前爬到第几页)z

利用 z小于等于y就会有数据的逻辑

一页20条数据 发一页的请求拿20条数据

int(y/20)+1<=z 为真 break   为假 继续z+1  则继续发送页请求

因为int(4001/20)+1永远等于201页   而当前页数z范围在1-201

num: 2, size(一页20条): 20, count: 1626, acount(总评论数): 4001

 

 

您可能感兴趣的与本文相关的镜像

Python3.10

Python3.10

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

爬取大量哔哩哔哩评论的Python实现
DevForge的博客
09-09 664
在本文中，我们将探讨如何使用Python编写代码来爬取哔哩哔哩（Bilibili）视频的大量评论数据。这是一个简单的示例，用于演示如何使用Python爬取哔哩哔哩评论。你可以根据自己的需求进行修改和扩展，例如提取其他评论相关的信息，或者将数据存储到数据库或文件中。首先，我们导入了所需的库：requests用于发送HTTP请求，BeautifulSoup用于解析HTML页面内容。然后，我们使用一个循环遍历并输出每个评论的内容。的函数，它接受一个视频URL作为参数，并返回评论的列表。属性提取评论的文本内容。
python爬虫项目（一百零六）：视频网站评论数据抓取及关键词分析
斌擎科技
10-07 1941
本文详细介绍了如何使用Python进行视频网站评论数据的抓取及关键词分析。从环境准备、爬虫开发到数据清洗和分析，我们提供了完整的代码示例与分析思路。通过这种方式，您可以有效地提取和分析视频评论数据，从而获取有价值的洞察。增加多线程抓取，提高数据抓取效率。对数据进行情感分析，深入了解用户的情绪状态。使用机器学习算法进行评论分类或主题建模。
Python爬取B站视频全部评论
github_39611284的博客
09-06 9992
Python3爬取B站视频全部评论1.为什么有这篇文章2.相关代码 1.为什么有这篇文章 最近受朋友委托需要爬取B站视频下的评论作为他的分析数据，我上网查了很多相关教程和文章都没有爬取全部的评论，不能满足朋友的需求，只好自己动手，在此分享一下实现代码供大家学习交流。 2.相关代码 通过输入B站视频Bvid号，可以将视频下的评论全部保存到csv文件中。（说明一下：输出显示 总评论数 > 当前评论数，这并不是BUG，而是总评论数包含评论和回复，这里只是爬取了评论。） ```python3 import
Python：抓取 Bilibili（B站）评论、弹幕、字幕等
qq_41297934的博客
09-15 7819
​ 个人科研学习需求，需要获取一些 UGC（user generated content），包括 UP 的内容、弹幕、评论等。于是从 哔哩哔哩 (゜-゜)つロ 干杯~-bilibili抓取了一些数据，以下内容仅供学习参考。
年轻小伙竟用python爬取B站视频评论！
weixin_42577686的博客
06-09 2635
大家好，我是啃书君。 今天为大家带来的小demo是爬取B站视频的评论。开始还以为很难，等正真上手的时候发现，也就是那么回事。 高考对于每个人来说都是人生的重大转折点，你考上一所什么样的大学，极大可能改变你未来的人生。因此，读书很重要，读书可以改变自己的命运。 衡水中学的张锡锋，想必很多小伙伴们都认识吧，也是他激励了大多数人的学习热情，他的19年演讲视频在B站已经有1574万的播放量了，最近又出了一个新的视频《无产阶级的孩子跨越阶级的希望》，目前还没有多少人看，没有火起来。因此，我就爬取他在19年衡中的演讲视
python爬虫初探（爬取bilibili视频的评论）
FNAspectOL的博客
02-03 617
import requests import json # import pprint coll = {} url = "https://api.bilibili.com/x/v2/reply?&jsonp=jsonp&pn=1&type=1&oid=884129021&sort=2&_=1612337407736" data = json.loads(requests.get(url).text) for i in data["data"]['repl.
python爬取bili评论
wgnms的博客
03-24 830
实例操作。非常规页面爬取 import requests import lxml.html import json class Bili: def __init__(self): pass def getMsg(self,url): headers = { 'User-Agent': 'Mozilla/5.0 (Window...
python实现B站评论分页爬取
weixin_51575130的博客
02-06 3419
变化的参数为 Jt+wt，这里的wt为固定值。并且采取了md5加密的方式，分析可得Jt的值为en中内容的综合，en内容则为负载中的固定值。2.打开开发者工具，点击网络刷新界面，下滑页面数据让数据加载出来，随便选择一条评论复制，粘贴到开发工具中的搜索框中，找到对应的包。7.这里处理w_rid参数，在源码页面中搜索，w_rid参数，查看所处位置，进行断点检测。5.实现翻页爬取时，找到变化的对应参数。
python爬bilibili弹幕
quedgee
01-06 943
import requests import time #统一资源定位符 ' " 单双无区别 '''三引号支持多行，类似pre标签 url = 'https://api.live.bilibili.com/ajax/msg' #要提交的数据 form = {'roomid':'79558', 'token':'', 'csrf_token':'e7fa015936c1ccb7f08d06a
精选资源
Python爬虫程序源代码-163、百度、百度云、哔哩哔哩、中国知网爬虫程序及其说明.zip
12-22
Python爬虫程序是数据获取的重要工具，尤其在信息丰富的互联网时代，它可以帮助我们自动化地从网站上抓取大量数据。本压缩包包含了针对163网易、百度、百度云、哔哩哔哩以及中国知网这五个不同平台的爬虫程序源代码...
简单的用Python爬一下Bzhan评论，实现翻页采集【附源码】
weixin_58006135的博客
07-31 975
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档。
【爬虫实例】从B站和某论文网站分析python爬虫的一般编写思路———To someone
weixin_50593821的博客
04-18 3106
① B站爬取的数据和实时页面有一定出入 ，比如我爬取的第一个数据标题是【这也太不合理了吧】，但是按照那个网页解析出来的第一个应该是【AI一眼就看透了我的本质】，我目前有两个怀疑方向：一是这个热门榜是不停在变的，每隔一段时间就会变化；今天课上我玩了一下ChatGPT，要他写一个B站热门的爬取代码，因为GPT数据库的问题，他写出来的代码确实能解决20年左右的B站爬取问题，但如今因为网站加密方式改进，代码已经运行不出效果了，还有其他许多网站也是如此。隐藏，当时没有往后翻，导致浪费大量时间，这种操作是如何实现的？
用python在b站买楼（评论抢一楼）
Junhao的博客
07-21 2477
该脚本能实现在b站买房。 只需输入cookie(模拟登录）、up主的uid和评论即可。 因为直接登录比较麻烦，本来就是个简易脚本，因此采用cookie登录 获取cookie的方法： 先用浏览器登录一遍b站 再用浏览器打开：https://api.bilibili.com/x/v2/reply/add 然后调出开发者工具，chrome的快捷键是F12，其他浏览器度娘去。 然后刷新一下，...
B站评论爬虫--爬取游戏主页评论
数据小红的博客
04-08 2537
由于公司需要监控到不同时间段用户观点的变化，需要爬取各个平台下我们用户的评论，因此，B站评论爬取的需求诞生啦！！~~看了网上的其他教程，都没有我这个类型的（大多数是普通的up上传的视频），我这个呢，是官方游戏主页（也许可以这么叫吧，我也不知道，反正就是从地址上看就不大一样，是http://www.biligame.com开头的） 那么这种特别一点的评论要怎么爬取呢？接下来我们一起来解决吧~ 查找评...
Bilibili-Old项目翻页评论区功能失效分析与修复方案
最新发布
gitblog_07676的博客
06-16 701
Bilibili-Old项目翻页评论区功能失效分析与修复方案 背景概述 Bilibili视频平台近期对评论区系统进行了灰度测试更新，这一改动导致基于Tampermonkey脚本的Bilibili-Old项目中的翻页评论区功能出现兼容性问题。该功能原本旨在为用户提供更便捷的评论区浏览体验，但在B站前端架构调整后暂时失效。 问题现象 用户在使用Windows 11系统和Microsoft Edge浏览...
b站“视频评论区”抽奖 讲解（含JS源码）
Love丶伊卡洛斯
08-08 4628
前言 如有 动态评论区 抽奖需要，可以参考：JS实现b站动态抽奖“公平”方案——动态+转发 因为转发抽奖只支持小人数，如果人少，可以使用：JS实现b站动态转发抽奖（小人数）新方案讲解 B站动态转发抽奖脚本+教程 视频讲解 B站“视频评论区”抽奖 讲解【JS】 传送门 正文 1.打开视频页面 2.鼠标右键打开“检查”工具 或 按F12 3.直接贴入代码，直捣黄龙 代码如下，复制粘贴进入
Bilibili-Old项目翻页评论区功能的技术演进与实现分析
gitblog_07936的博客
06-16 382
Bilibili-Old项目翻页评论区功能的技术演进与实现分析 翻页评论区功能作为Bilibili-Old项目中的重要特性，近期经历了一次从移除到恢复的技术演进过程。本文将从技术角度分析这一功能的实现原理、遇到的问题以及解决方案。 功能背景与实现原理 翻页评论区功能最初是为了解决Bilibili新版无限滚动加载机制带来的性能问题而设计的。其核心实现原理是通过拦截B站API请求，将原本的无限滚动模式...
python爬虫爬取B站评论
weixin_51575130的博客
11-27 7023
打开开发者工具，下滑页面数据让数据加载出来，随便选择一条评论复制，粘贴到开发工具中的搜索框中，找到对应的包。爬取当前页面的评论信息，用户昵称，性别，前面，内容，发布时间，归属地等。在这里随便点开B站首页推送的一个视频内容。当前页面的评论信息在 replies中。这里使用requests方法。爬取结果保存为csv文件。2.发送请求，访问网址。4.持久化存储，保存在。
python3网络爬虫--爬取b站视频评论用户信息（附源码）
热门推荐
懷淰メ的博客
11-18 1万+
最近马保国老师在b站挺火的，关于他的视频播放量很高，b站视频评论区都是人才说话好听，写个爬虫爬取一下b站评论区用户信息和评论内容。 一．准备工作 1．工具 （1）Chrome 谷歌浏览器 安装地址：https://www.google.cn/chrome/ （插件：json-handle 下载地址：http://jsonhandle.sinaapp.com/，json-handle安装方法： https://blog.youkuaiyun.com/xb12369/article/details/79002208 用于分
python爬虫爬取b站网页评论
12-29
### 使用Python爬虫抓取哔哩哔哩网站视频页面的用户评论数据 为了实现这一目标，可以采用如下方法： #### 准备工作 确保安装必要的库，如`requests`用于发送HTTP请求，以及`json`处理JSON格式的数据。另外，可能还需要`pandas`来整理和存储获取到的信息。 ```bash pip install requests pandas ``` #### 获取API接口地址 大多数情况下，像哔哩哔哩这样的平台会通过特定的API端点提供结构化的数据访问方式。对于视频评论而言，通常存在专门针对此功能设计好的RESTful API服务[^2]。因此，第一步是要找到这些API的具体URL路径及其参数设置规则。 #### 发送请求并解析响应 一旦确定了正确的API入口链接之后，就可以构建相应的GET/POST请求去调用它，并从中抽取所需字段。下面是一个简单的例子展示怎样利用`requests.get()`函数向服务器发起查询操作，同时指定headers模仿浏览器行为以绕过某些反爬机制；接着把返回的结果转换成字典形式以便后续读取其中的关键属性值，比如用户名、发布时间戳及具体内容等。 ```python import json import requests from datetime import datetime def fetch_comments(bvid, page=1): url = f"https://api.bilibili.com/x/v2/reply?jsonp=jsonp&pn={page}&type=1&oid={bvid}" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)', 'Referer': f'https://www.bilibili.com/video/{bvid}' } response = requests.get(url=url, headers=headers) data = json.loads(response.text)['data'] replies = [] for reply in data['replies']: user_name = reply['member']['uname'] comment_time = str(datetime.fromtimestamp(reply['ctime'])) content = reply['content']['message'] replies.append({ "username": user_name, "time": comment_time, "comment": content }) return replies ``` 这段代码定义了一个名为`fetch_comments`的功能模块，接受两个参数——视频唯一标识符(`bvid`) 和分页编号 (`page`) ，默认从第一页开始加载。内部逻辑则是按照官方文档说明组装完整的网络请求链路，最后遍历回复列表收集每条评论的相关细节形成新的记录集合供外部调用者进一步加工处理。 #### 存储所获资料 考虑到实际应用场景下往往涉及大量条目的累积保存需求，在完成一轮或多轮次的数据采集动作以后应当考虑将其持久化至本地文件系统或是数据库管理系统当中。这里仅给出基于CSV格式导出表格样式的简单示范： ```python import pandas as pd comments_data = [] for i in range(1, max_pages + 1): comments_page = fetch_comments('BVxxxxxxxxxx', i) comments_data.extend(comments_page) df = pd.DataFrame(comments_data) df.to_csv('./output/comments.csv', index=False, encoding='utf_8_sig') ``` 上述脚本片段实现了循环调用之前编写的辅助函数直至达到预设的最大翻页次数上限为止，并将所有取得的内容汇总起来构建成Pandas DataFrame对象再写入磁盘作为最终成果输出。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值