教你用Python爬取哔哩哔哩全站视频信息

最新推荐文章于 2024-04-08 07:28:05 发布
原创 最新推荐文章于 2024-04-08 07:28:05 发布 · 2.1k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #编程语言 #Python爬虫 #网络爬虫

本文介绍了作者使用Python3和VSCode在Windows环境下编写B站视频信息爬虫的过程，包括安装Python环境，处理403错误，获取视频数据的API，解析JSON并保存数据。但由于权限限制和稳定性问题，建议在Linux环境下运行。

哔哩哔哩全站视频信息爬虫(可能会漏爬)

B 站感觉最近几年发展得太快了,不由得想知道有多少视频,翻阅了一大半网络找了很多爬虫感觉都不是特别的复合自己的胃口(挑食~),于是自己写一个(才学习爬虫没多久写得垃圾代码大佬别喷我啊….)

很多人学习python，不知道从何学起。
很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。
很多已经做案例的人，却不知道如何去学习更加高深的知识。
那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！??¤
QQ群：961562169

开发环境: Windows10 + Python3

工具: VSCode

准备工作

安装

Python3

安装Python这些就麻烦自己百度吧..

依赖

pip3 install -r requirements.txt

运行

python3 bili_video_get.py

代码部分

5

运行结果截图(出现各种403,或访问权限不足请不要在意)

最低0.47元/天 解锁文章
Python_sn
关注
Python 爬虫实战：爬取哔哩哔哩知识区，抓取高赞课程信息
u014481728的博客
01-30 957
哔哩哔哩（Bilibili）是一个广受欢迎的综合性视频社区，其中的知识区汇聚了大量优质的教育、科普、技术等课程内容。本文将指导读者如何使用 Python 爬虫技术从哔哩哔哩知识区抓取高赞课程信息，并进行数据分析。本文深入探究了利用 Python 爬虫技术从哔哩哔哩知识区抓取高赞课程信息的全流程。从前期的环境搭建、模拟登录，到核心的课程数据抓取、存储，再到后续的数据分析与可视化，都详细展开讲解并提供代码支持。通过此方法所获取的数据，能够助力创作者优化内容、用户发现优质课程、平台洞察用户需求。
基于Python的“哔哩哔哩视频网”视频热度分析
m0_73485263的博客
09-28 1951
Scrapy框架在Python语言中处理复杂情况的一种工具。它是一种强大的网页蜘蛛框架，不仅能够轻松构建请求，并且能轻松解析响应。它的性能非常高甚至还可以将网页蜘蛛这种程序工程化以及模块化。Scrapy框架主要包括：（1）引擎：主要工作负责项目管道、网页蜘蛛、下载器、调度器中间的通讯、信号分析以及相关数据信息传递等。（2）调度器：主要负责接收来自引擎发送的请求，并组织和布置以某种方式入队，当被需要时返回到引擎。
python爬取哔哩哔哩视频_python爬取哔哩哔哩小视频
weixin_29634081的博客
02-04 1061
抓取B站每日的小视频排行榜，本周，本月采用同样方法。网址：https://vc.bilibili.com/p/eden/rank#/?tab=全部工具：python3，谷歌浏览器，pycharm模块：requests，time，random网页： 打开开发者工具，按F12。刷新网页，抓取数据。我们会抓取到红色部分的一条数据。点击这条数据，先看一下头部(Headers)。 再看一下参数信息 很明显...
Python爬取哔哩哔哩视频的相关信息后续
闲客的博客
08-03 1359
上一篇文章通过selenium工具自动搜索爬取哔哩哔哩上面的视频相关信息，今天我们接着上一篇文章，保存视频的图片到本地。 首先找到要爬取的网页数据所在的位置，如下图 并且，右键点击该网址，可以选择在新标签页中打开，在新标签页中，除了显示图片不会显示其他东西。如下 到这就是原本的图片数据了，如果跳转过后依然不是这样，就需要继续往下寻找到最终的图片数据地址。 在昨天的基础上就添加了一个保存图片的函数，上代码。 def img_save(soup): img_url_list = soup.find(c
python scrapy 爬虫_python scrapy 爬虫 初学
weixin_39867662的博客
12-07 429
环境python3.6.1scrapy安装pip3 install scrapy新建项目(比如爬 豆瓣)scrapy startproject douban代码结构新建spider 爬虫主文件spider 目录 scrapy genspider douban_spider然后看看主要代码spiders目录下 douban_spider.py 文件# -*- coding: utf-8 -*-im...
如何快速爬取B站全站视频信息
热门推荐
Python中文社区
11-03 1万+
專 欄 ❈陈键冬，Python中文社区专栏作者，知乎专栏：尽瞎扯 GitHub： https://github.com/chenjiandongx ❈ B站我想大家都熟悉吧，其实 B 站的爬虫网上一搜一大堆。不过纸上得来终觉浅，绝知此事要躬行，我码故我在。最终爬取到数据总量为 760万 条。 准备工作 首先打开 B 站，随便在首页找一个视频点击进去。常规操作，打
哔哩哔哩视频爬取
瑞凯
08-20 1892
今天突然想起 哔哩哔哩手机上可以直接下载啊 那么，我选择一个手机的UA，是否可以直接获取下载链接，就粗略试了下，因为是在电脑端模拟手机的UA，发现下载下来的是流畅视频，时间太晚了 下载1080P估计也是一个思路，以后再写吧！可以凑乎看，或者有兴趣的小伙伴可以试试。也就几行代码。 import requests import re av = input('请输入哔哩哔哩的AV号：') # u...
python爬取b站所有视频_如何快速爬取B站全站视频信息
weixin_39901213的博客
12-08 2951
B 站我想大家都熟悉吧，其实 B 站的爬虫网上一搜一大堆。不过 纸上得来终觉浅，绝知此事要躬行，我码故我在。最终爬取到数据总量为 760万 条。准备工作首先打开 B 站，随便在首页找一个视频点击进去。常规操作，打开开发者工具。这次是目标是通过爬取 B 站提供的 api 来获取视频信息，不去解析网页，解析网页的速度太慢了而且容易被封 ip。勾选 JS 选项，F5 刷新找到了 api 的地址动手写码好...
Python爬虫一爬取B站小视频源码
最新发布
2401_84009749的博客
04-08 976
print(‘\r’ + ‘[下载进度]:%s%.2f%%’ % (‘>’ * int(size * 50 / content_size), float(size / content_size *print(‘[文件大小]:%0.2f MB’ % (content_size / chunk_size / 1024)) # 换算单位。content_size = int(response.headers[‘content-length’]) # 总大小。print(‘\n’ + ‘视频下载完成！
Python爬取哔哩哔哩（bilibili）视频
chinaherolts2008的博客
12-11 7722
本篇文章主要给大家讲解下如实使用python 爬取哔哩哔哩中的视频，首先我是一名大数据开发工程师，爬虫只是我的一个业余爱好，喜欢爬虫的小伙伴可以一起交流。好了多了就不多说了喜欢的朋有可以收藏，转发请复原文链接谢谢。 一、环境准备 我这里使用的是环境如下仅供参考： 开发工具： pycharm python环境：python-3.8.0 依赖的包： shutil，os，re，json，choice，requests，lxml 二、页面分析 我在这里就拿前段时间非常火的马老师的视频来举例子吧。 视频...
python爬取bilibili视频信息_python网络爬虫（爬取bilibili一位up的视频标题，评论数量等基本信息）...
weixin_39735247的博客
11-25 891
对爬虫还挺有兴趣的，但是一直没有尝试过，今天看了几篇写得非常好的博客，学到了一丢丢，自己也写了个简单的爬虫娱乐娱乐。1.分析需求需求：爬取b站up主王老菊所有视频投稿的编号，标题，播放数量以及评论数量。分析：1.先要进入b站，到这位up主的个人主页：2.按f12进入控制台f5刷新，如图所示找到需要的信息：3.图中的xhr文件就包含了我们需要的信息，挨个打开，直到找到需要的信息：4.把这个文件在浏览...
哔哩哔哩-B站视频爬取-python爬虫
@LPX
03-05 2833
本文章分析了b站的源代码并进行了音频和视频的爬取，以及调用ffmpeg将数据进行了合并。
python爬取b站_python 爬取bilibili 视频信息
weixin_39859061的博客
11-20 239
1 #-*- coding: utf-8 -*-2 #@author: Tele3 #@Time : 2019/04/08 下午 1:014 importrequests5 importjson6 importos7 importre8 importshutil9 from lxml importetree101112 #爬取每个菜单的前5页内容13 classBiliSplider:14 ...
【用python爬取B站视频（含源码）-----最适合小白的教程】
Xu_youyaxianshen的博客
05-18 9433
在 B 站看视频已经成为我们日常生活中不可或缺的一部分。很多时候我们在观看视频时，想要获取视频的相关信息，比如视频的标题、发布者、播放量等等。但是由于 B 站页面上的信息有限，很多时候需要通过爬虫来获取更全面的信息。本篇文章就将介绍如何使用 Python 爬取 B 站视频的相关信息。
python爬取bilibili视频信息_如何用Python快速爬取B站全站视频信息
weixin_39953236的博客
11-24 620
B站我想大家都熟悉吧，其实 B 站的爬虫网上一搜一大堆。不过纸上得来终觉浅，绝知此事要躬行，我码故我在。最终爬取到数据总量为 760万条。准备工作首先打开 B 站，随便在首页找一个视频点击进去。常规操作，打开开发者工具。这次是目标是通过爬取 B 站提供的 api 来获取视频信息，不去解析网页，解析网页的速度太慢了而且容易被封 ip。勾选 JS 选项，F5 刷新找到了 api 的地址复制下来，去除没...
python爬取网页视频
csdn_drinker的博客
11-25 1515
#coding=gbk from lxml import etree import requests from multiprocessing.dummy import Pool import random #@starttime:2021/11/25 10:21 #@endtime:2021/11/25 15:20 if __name__=='__main__': # video_down_url = [] url='https://www.pearvideo.com/' head
Python爬虫 | 获取B站在线列表视频信息并发送到邮箱
zao_an的博客
02-18 1601
本文介绍了一个较为简单的Python爬虫，可以获取网页上的特定信息并保存在文件中。
爬虫Python报403或data为空问题
aGreySky的博客
03-05 2243
在爬取B站数据时，部分API是需要cookie才能获取数据的，没有携带则结果可能是code:403或 {"code":0,"message":"0","ttl":1,"data":{}} 比如upstat，需要将标头中的cookie放在爬虫中。 headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758...
【Python】利用requests库下载B站视频（半成品）
每天都要学Python的博客
02-25 1169
介绍 写这篇博客的时候，导师突然发消息，导致现在没太大心情解释具体步骤了，先放这里，回头再更… 脚本如下 #!/usr/bin/env python3 # -*- coding: utf-8 -*- ''' Author: Guo Yingwei Date: 2021-02-09 17:51:46 E-mail: willgyw@126.com Description: Download bilibili video LastEditors: gyw LastEditTime: 2021-02-25 19
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值