用Python爬取Bilibili上二次元妹子的视频

研究B站在线人数 参考链接: B站最详细的API 【详解】b站改版后获取当前正在观看人数 用python爬取B站在线用户人数 研究B站在线人数 目录 1. 前言 2. 全站在线人数和观看人数 3. 单个视频观看在线人数 4.总结 一、前言 ↶ 最近想研究一下B站的在线人数的获得方式,并把相关的内容记录在自己的博客里。 二、全站在线人数和观看人数 ↶ 在查找资料的过程中,我发现了两个接口: http://... 阅读详情

作者:Mike_Shine

来源:https://urlify.cn/2qyMBb

一直想爬取BiliBili的视频,无奈一直没有去研究一下。

最近,在旭哥的指点之下,用了Fiddler抓包,抓到了一直期待的视频包,完成了下载。

下面写一下我做这个爬虫的过程。

# 相关依赖  :Fiddler+Python3 + Requests

下面看一下我做这个爬虫的具体步骤:

1. 进入某个具体视频的页面抓取视频包测试。

进入这个页面:https://www.bilibili.com/video/av26019104,如下图所示。点击播放按钮。

可以看到Fiddler已经抓到了很多包。别着急,现在还没有视频包出现。由于需要时间下载,所以具体视频包会过一会才能弹出来。

过大概一两分钟,就会看到这个包,如下图。可以清楚的看到这个是Flv形式的视频流的包,看这个包的大小也可以看出来,是相当的大。

下面分析一下这个包的具体参数。点击上图红色圈圈那个“Raw",会弹出下面这个窗口

可以看到是一个Get请求,请求的url和Headers都很清楚。

这时候就可以实验一下,来写一小段代码测试一下是否可以通过requests.get()方法来下载视频。

#######################################################################import requests
with open("D:\video\bilibili.mp4") as f:  f.write(requests.get(url, headers = headers, verify = False).content)       #这里的Verify=False是跳过证书认证  print("下载完成") # 这里只是写了核心部分,headers和url没有写,直接copy过来就好了,# 注意Url前面要加Host.   真正的请求地址是http://主机Host地址/upgcx.......############################################################################

可以看到如果你运行这段代码,已经可以把视频下载到了本地。

这里你可以多试几个视频,可能会发现,有些视频按照抓包得到的Headers,请求之后只能Get到一部分视频,比如视频8M,你Get到只有2M。你去看一下Headers就会发现,他多了一个Range参数。把这个删除掉,就可以下载了。

经过我的实验,所有视频请求的Headers格式都可以统一为下图这样。里面有2个参数哈。

1.host,主机名,就是从你爬出来的URL中正则出来的host

2. 视频标号。

2. 获取请求Headers参数和请求源URL:

要找URL,可以看一下URL中的内容,里面的hfa=xxxxxxxx和hfb=xxxxxxx应该是加密的?这可怎么办。这时候用Fiddler,从抓来的包里搜索一下这两个参数,肯定藏在某个包里。用CTRL + F 输入hfa 搜索。可以看到包含HFA关键字的包都被找出来了。

进去一看,其实包含在网页源代码的包,也就是说URL中的参数包含在网页源代码里。

回到最初的那个视频页面,看一下网页源代码。搜索一下URL。

惊喜的发现,其实整个URL都在网页源码里。这岂不是太简单了。

不过需要注意的是,这个URL中含有的hfa等加密部分是会动态变化的。所以在最终脚本的代码结构中,需要拿一个URL,及时用来做get请求。下载完成之后再拿下一个URL。

我之前就犯过这样的错,由于URL过期,导致部分视频下载不到。

3. 从UP主的主页爬取所有视频的信息(视频编号,标题)。

在之前的实验之上,现在只要有视频编号,我们就可以下载到对应的视频了。所以接下来要做的工作就是从Up主的主页来获取所有的视频信息。

访问某个Up主的主页

点击圈圈的更多,可以进入所有视频的页面。

这时候看Filddler抓包的结果,看到这个json包,里面包含了本页所有视频的信息。

同样,看一下包头。如下图

也做一下实验,可以发现Cookie是不必须的参数。

同之前下载视频的Get方法,同样可以Get到这个Json包。然后就可以把内容通过Json解析的语句拿出来。

这里我并没有做翻页的工作,而是直接请求了100个视频。想做翻页的同学,加一点代码就好了。

完)






Python爬虫:爬取Bilibili视频(.m4s) 本文仅作为学习笔记参考使用: 哔哩哔哩视频抓取 b站视频的抓取还是比较困难的,相对于其他的网站的视频获取相对难一些,也是因为我的好奇不怕死心理,打算拿b站视频好好分析分析,具体抓取流程如下: 初始分析页面如下: 这个页面有点养眼,就从这个开始。本页面的请求以及响应信息较为容易抓取分析,主要就是获取分页标记以及视频跳转到指定播放界面的url地址(如下图所示) 我用的办法是把响应中的页面框架信息下载... 阅读详情

相关推荐

PR控制以及使用PR控制用于单相离/并网逆变器

最近想学习一下并网逆变器,需要用到PR控制,全网找遍了许多学习资料,终于掌握的差不多了,在此做个记录,以及个人对PR(Proportional Resonant)控制的理解。在去年7月准备电赛的时候偶然看到有几篇讲解数字滤波器,第一次接触传递函数离散化,深刻被数字时代的数字方式折服,改改代码,就可以实现不同的截至频率,甚至不同阶数,而模拟方式还要改元器件。当时就感觉这玩意太他妈牛逼了,很想学懂它,奈何学不会呀。后面全身心做电赛,就忘了这事儿。直至最近学习PR控制,当初的感觉又回来了,一股劲儿吃下来了。

xht2403267701的博客 3万+

用Python爬虫的方式查看B站视频实时的观看人数

练习 from selenium import webdriver import time # 计算机中chromedriver.exe的绝对位置 # "C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe" driver = webdriver.Chrome("C:\chromedriver.exe") # 请求网站 driver.get("https://www.bilibili.com/video/BV13A411M7

大大打打的博客 2269

常见的电容有哪些

电容在电路板中非常常见,类别纷繁复杂,本文化繁为简,主要介绍下常见电容。

qq_40170041的博客 770

Python爬虫--爬取哔哩哔哩(B站)短视频平台视频

Python爬虫--爬取哔哩哔哩(B站)短视频平台视频

y2878672183的博客 1万+

如何利用GMS构建地下水数值模拟模型?

第一步:点图中三维网格的图标然后点Grid→Create Grid这个界面是用于创建一个有限差分网格的设置窗口。它允许你定义网格在三维空间中的范围、分辨率以及其他相关属性。这个界面提供了一个直观的方式来定义一个三维的有限差分网格,你需要指定每个维度上的范围、划分的单元格数量,以及一些控制单元格大小分布和网格方向的参数。这个网格通常会被用于数值模拟,例如地下水流模拟。在点击 "OK" 之前,请务必仔细检查所有参数是否符合你的建模需求。1. X-Dimension (X 轴维度)2. Y-Dimension (

weixin_44259522的博客 2096

基于PTB-XL数据集的深度学习心电信号分类

心电信号的分析与处理是心血管疾病诊断的重要手段。该领域的主要工作领域是分类,它越来越多地得到基于机器学习的算法的支持。在这项工作中,开发了一个深度神经网络来自动分类初级心电信号。这项研究是在PTB-XL数据库中包含的数据上进行的。提出了三种神经网络架构:第一种基于卷积网络,第二种基于SincNet,第三种基于卷积网络,

weixin_55121617的博客 7008

网站同时在线人数_一个良心网站被B站告知侵权

不知大家是否知道BiliOB,这是一个B站的数据观测网站,在这里可以了解每天掉粉和涨粉最快、以及所有up主的相关数据信息,可以说是一个非常好用并且良心的网站,而且B站的一些大UP主也正在使用并且推荐过,本来准备给大家介绍一下,但前两天却遗憾的发现,作者由于收到B站官方告知函,被迫临时关闭,并称目前正在与B站相关人员沟通,具体结果如何,作为用户来说,是非常期待的。以下内容来自BiliOB官...

weixin_39652810的博客 1716

Reality Capture控制点修复/合并模型

通过增加控制点/修改对齐设置参数来修复模型被分为两个部分的解决方法

草履虫建模的博客 5257

python爬虫--小白篇【爬取B站视频】

在分析网页前,需要明白爬取的数据是什么,由于b站的视频跟音频是分开存放的,所以我们需要分别找到视频和音频的url,然后在对其发起请求将视频和音频保存至本地;最后将两者合并在一起,才能形成完整的视频文件。

weixin_56097064的博客 7830

修改Windows hosts文件的解决方案

本文主要介绍了修改Windows hosts文件解决方案,希望能对新手有所帮助。 文章目录 1. 问题描述 2. 解决方案 2.1 安装软件 2.2 修改hosts文件

weixin_43178406的博客 1万+

直击高频编程考点:字符串知识及经典算法题总结

字符串相关基本练习题总结(最长公共子串、最长回文子串、最长无重复字符子串、最小覆盖子串、字符串相乘、中文数字表达转实际数字格式等)

曾经“等你生日那天”都遥远得像未来,如今却可欢愉的挥手说“下个十年见” 172万+

用Python爬取Bilibili上二次元妹子的视频!

一直想爬取BiliBili的视频,无奈一直没有去研究一下。 最近,在旭哥的指点之下,用了Fiddler抓包,抓到了一直期待的视频包,完成了下载。 下面写一下我做这个爬虫的过程。 # 相关依赖 :Fiddler+Python3 + Requests 下面看一下我做这个爬虫的具体步骤: 1. 进入某个具体视频的页面抓取视频包测试。 进入这个页面:https://www.bilibili.com/video/av26019104,如下图所示。点击播放按钮。 ...

爬遍所有网站 331

基于工作流的低代码AI应用开发:Flock平台核心架构与实战指南

在AI应用开发领域,工作流编排正成为连接大语言模型(LLM)能力与复杂业务逻辑的关键技术。其核心原理是将任务分解为模块化节点,通过可视化方式定义执行顺序与数据流向,从而实现灵活可控的自动化流程。这种范式极大地提升了开发效率,降低了技术门槛,使得开发者能够聚焦于业务设计而非底层代码。在技术价值层面,工作流编排支持检索增强生成(RAG)、多智能体协作等高级模式,并能通过人工干预节点确保关键流程的可靠性与合规性。其典型应用场景包括智能客服、自动化办公、数据分析助手等。本文以Flock平台为例,深入解析了如何利用其

weixin_26848497的博客 384

fiddler怎么用_用Python爬取Bilibili上二次元妹子的视频

点击上方蓝字关注我们一直想爬取BiliBili的视频,无奈一直没有去研究一下。最近,用了Fiddler抓包,抓到了一直期待的视频包,并完成了下载。下面写一下我做这个爬虫的过程。# 相关依赖 :Fiddler+Python3 + Requests下面看一下我做这个爬虫的具体步骤:进入某个具体视频的页面抓取视频包测试进入这个页面:https://www.bilibili.com/vide...

weixin_39683978的博客 156

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

bilibili源码_用Python爬取Bilibili上二次元妹子的视频!呆萌呆萌的

一直想爬取BiliBili的视频,无奈一直没有去研究一下。最近,在旭哥的指点之下,用了Fiddler抓包,抓到了一直期待的视频包,完成了下载。下面写一下我做这个爬虫的过程。# 相关依赖 : Fiddler+Python3 + Requests下面看一下我做这个爬虫的具体步骤:1. 进入某个具体视频的页面抓取视频包测试。进入这个页面:https://www.bilibili.com/video/av...

weixin_34377186的博客 143

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

python爬虫有哪些要学_python爬虫项目有哪些?如何学?

毕竟所有的理论知识最后都是通过实践检验的,如果能有拿得出手的项目,面试中会大大的加分。下面小编就来跟大讲讲python的爬虫项目有哪些以及该学点什么内容。wesome-spider这一项目收集了100多个爬虫,默认使用了Python作为爬虫语言。你既可以在这个项目中,找到爬取Bilibili视频的爬虫,也可以使用爬虫,通过豆瓣评分和评价人数等各项数据,来挖掘那些隐藏的好书,甚至还可以用来爬取京东、...

weixin_39610807的博客 119

花木兰到底好看不,我用Python爬取了几万条评论!

点击上方“菜鸟学Python”,选择“星标”公众号超级无敌干货第一时间推给你!!!对于神仙姐姐刘亦菲,估计很多码农都很喜欢,小编也非常喜欢她。从一开始的金粉世家里面的青涩的白秀珠,到天龙...

cainiao_python的博客 542

【用python爬取B站视频(含源码)-----最适合小白的教程】

在 B 站看视频已经成为我们日常生活中不可或缺的一部分。很多时候我们在观看视频时,想要获取视频的相关信息,比如视频的标题、发布者、播放量等等。但是由于 B 站页面上的信息有限,很多时候需要通过爬虫来获取更全面的信息。本篇文章就将介绍如何使用 Python 爬取 B 站视频的相关信息。

Xu_youyaxianshen的博客 1万+

python爬取B站视频

苦于哔站网页版以及客户端版本都没有将视频完整下载到本地的情况,因此诞生了该篇文章,讲解如何利用python去实现视频下载到本地

meng7000的博客 8489

python爬取b站视频,看完这个一秒噜b站十万八千次不是梦!

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。第一步,先对视频网页进行抓包,可以发现这两个请求是视频相关的。

Python栈_基的博客 5740

使用python爬虫爬取bilibili视频

可以使用 Python 爬虫框架如 Scrapy 来爬取 Bilibili 的视频。首先需要了解 Bilibili 网站的构造,包括数据是如何呈现的,然后构建请求来获取所需的数据。同时需要考虑反爬虫措施,可能需要使用代理 IP 和 User-Agent 等方法来绕过反爬虫机制。 这里提供一个简单的爬取视频标题的例子 import requests from bs4 import Beautiful...

weixin_42609225的博客 3935
上一篇: 如何抓住下个高薪机会?
下一篇: 25 个常用 Matplotlib 图的 Python 代码,收藏收藏!
Wang_AI
博客等级 码龄12年 997粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值