用Python爬取bilibili全站用户信息

最新推荐文章于 2025-05-04 23:39:14 发布
最新推荐文章于 2025-05-04 23:39:14 发布
阅读量6k 收藏 19
点赞数 2
文章标签： python 爬虫 数据库
原文链接：https://juejin.im/post/5b8fe524e51d450e531c3dcd
版权
本文介绍如何使用Python爬取哔哩哔哩（B站）的全站用户信息，包括运行环境、依赖库和代码分析。数据通过官方接口获取，存储在MongoDB数据库中，并对性别分布和用户增长情况进行初步分析。已更新为使用MySQL保存数据。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

教你用Python爬取哔哩哔哩全站用户信息

运行

下载

git clone https://github.com/cexll/bili_user_Spider.git
复制代码

运行环境

  • Windows/Ubuntu
  • Python 3.6
  • VSCode

依赖

  • requests
  • pymongo
  • mongodb

使用本脚本请先安装好MongoDB,并且安装好库

pip install -r requirements.txt
复制代码

运行

运行前请进入脚本把cookie和mid改成自己的方便第一时间给数据库增加相应的数据

python3 spider.py
复制代码

思路

这是用思维导图画的一个脚本的大致运行情况

最低0.47元/天 解锁文章
Python爬虫实战：爬取Bilibili视频排行榜（动态接口解析与反爬破解）
2201_76125261的博客
06-01 613
Bilibili（简称B站）作为中国领先的弹幕视频分享网站，其视频排行榜反映了当前最受欢迎的视频动态，涵盖动画、娱乐、科技、游戏等多个分类。爬取这些排行数据，可用于内容分析、趋势预测、推荐系统开发等应用场景。
python爬取b站所有视频_如何快速爬取B站全站视频信息
weixin_39901213的博客
12-08 2901
B 站我想大家都熟悉吧，其实 B 站的爬虫网上一搜一大堆。不过 纸上得来终觉浅，绝知此事要躬行，我码故我在。最终爬取到数据总量为 760万 条。准备工作首先打开 B 站，随便在首页找一个视频点击进去。常规操作，打开开发者工具。这次是目标是通过爬取 B 站提供的 api 来获取视频信息，不去解析网页，解析网页的速度太慢了而且容易被封 ip。勾选 JS 选项，F5 刷新找到了 api 的地址动手写码好...
python爬取bilibili用户信息
12-28
使用 Selenium 库，通过自动化浏览器抓取 Bilibili 用户页面的数据。它从一个包含用户链接的文件中读取每个用户的页面地址，提取相关信息，包括昵称、用户 ID、关注数、粉丝数、视频数和视频标题等，并将这些数据保存到 CSV 文件中。脚本还使用了重试机制来确保在爬取过程中出现临时问题时能够自动重试，最大重试次数为 3 次。整个过程以无头模式运行，不会弹出浏览器窗口，适合批量抓取数据。使用时，只需安装必要的依赖库，准备包含用户链接的文件，并运行脚本即可。
用python爬取B站用户信息，这代码可不能瞎搞哦！
爬遍所有网站
08-22 780
用python爬取B站用户信息 话不多说，直接上代码！ import requests def get_star(url): html = requests.get(url).json()['data'] follower = html['follower'] following = html['following'] print("粉丝数：{}，关注数：{}".format(follower,following)) print("-"*20) def do
Python爬虫：爬取B站视频 小白教学（解决b站视频与音频分离问题，超级详细保姆级教学）
最新发布
2301_81851707的博客
05-04 1275
1. 完整的代码 2. 爬取b站视频 2.1 网页搜索b站（如果是在APP上无法爬取） 2.2 检查（点击） 2.3点击工具上方的网络 2.4 回车（重新刷新） 2.5 通过搜索工具（就是网页上的http） 2.6 获取请求url(只要标蓝的部分，因为b站有加密机制，不能完全复制**那部分其实就是搜索的部分) 2.7 找到cookie（全部粘贴复制） 3. 环境配置 3.1 安装FFmpeg（必须步骤）//如果没有配置FFmpeg
python爬取bilibili信息（一）
小白巨白的博客
02-27 1576
爬取哔哩哔哩（bilibili） 本人不是计算机专业的专业人员，在书写上会有专业型误差请您谅解，有问题或者错误可以通过笔者qq邮箱：183605463@qq.com 进行沟通，在此感谢您的观看。 初心： 我是一个小白，并且成功的爬取了，我相信大家一定也没问题，所以我的文章涉及到的比较基础，所以比较繁多，我将利用好时间一点一点地为大家推送，希望可以坚持下去，有所学，有所成长。 提前准备： 在网...
python爬虫基本流程-Python爬虫流程
weixin_37988176的博客
10-29 613
Python爬虫流程主要分为三个部分 (1)获取网页-------->(2)解析网页(获取数据)--------->存储数据三个流程的技术实现1.获取网页-获取网页的技术基础：urllib、requests、selenium-获取网页的进阶技术：多线程抓取、登录抓取、突破ip限制和服务器抓取2.解析网页-解析网页的技术基础：re正则表达式、BeautifulSoup和xml-解析网页的进阶技术：解...
用python爬取B站用户信息
guoxuying的博客
08-21 3570
用python爬取B站用户信息 话不多说，直接上代码！ import requests def get_star(url): html = requests.get(url).json()['data'] follower = html['follower'] following = html['following'] print("粉丝数：{}，关注数：{}".format(follower,following)) print("-"*20) def downl
python3网络爬虫--爬取b站用户投稿视频信息（附源码）
懷淰メ的博客
11-24 6839
上次写了篇 python3网络爬虫–爬取b站视频评论用户信息（附源码） 效果良好，因此再写一篇爬取用户投稿视频的爬虫，思路简单一些。不过本次将数据存储到了MySQL数据库。 本次要实现：手动输入用户id，程序根据这个id爬取此用户的所有投稿视频，最终将数据存储到MySQL数据库中，并且数据存储到以用户名为数据表名的数据表中。 一．准备工作 1．工具 （1）chrome浏览器 下载地址：https://www.google.cn/chrome/，用于分析网结构。 jsonhandle 用于分析json格式化数
python爬取b站用户_python爬取b站排行榜
weixin_39902472的博客
11-20 516
爬取b站排行榜并存到mysql中目的b站是我平时看得最多的一个网站，最近接到了一个爬虫的课设。首先要选择一个网站，并对其进行爬取，最后将该网站的数据存储并使其可视化。网站的结构目标网站:bilibili排行榜网页的层次首先要确定要提取的信息，也就是标题、播放量、作者up主、评分、播放量和评论量在网页源代码中找到要找的信息每个网页中大概有多条这样的rank-item项目，要提取的信息就包含其中3 ...
Python爬虫练习：bilibili用户信息爬取、下载工具、房天下新房二手房爬虫、简书全站文章爬取等.zip
03-03
Python爬虫练习：bilibili用户信息爬取、下载工具、房天下新房二手房爬虫、简书全站文章爬取等.zip 申明 个人的一些python 爬虫练习 仅限于学习交流 目录 Scrapy-Redis 房天下新房二手房redis分布式爬虫 Scrapy ...
Python爬取房价信息
12-27
Pyhon爬虫案例-----爬取北京房价，主要功能，爬虫，数据可视化。
python爬取b站用户_用python爬取B站用户信息，这代码可不能瞎搞哦！
weixin_39652810的博客
11-20 851
用python爬取B站用户信息话不多说，直接上代码！import requestsdef get_star(url):html = requests.get(url).json()['data']follower = html['follower']following = html['following']print("粉丝数：{}，关注数：{}".format(follower,followin...
python爬取数据
Kilvin的博客
02-04 414
文章目录1、基础内容2、数据的获取 1、基础内容 # __name__是一种变量 print(__name__) # 列表解析式 x = [i for i in range(10) if i % 2 == 0] print(x) # 装饰器 --> 加强，一般用加强函数和类 import time def printtime(func): def f(*args, **kwarg...
python数据爬取
Rocky 子叶的博客
04-23 381
#爬取部分 #一:对有标签的内容进行爬取 #打开文件 out=open(‘d:/分表.csv’,‘w’,newline=’\n’,encoding=‘gb18030’) csv_write=csv.writer(out,dialect=‘excel’) #数据爬取 for page in range (1,285): 略 xpath1=’//*[@id=“problemset”]/tbody’ d...
python 爬取数据
m0_46950915的博客
12-01 489
爬取古诗文网中的一篇古诗一、使用步骤1.引入库2.获取网页的HTML3.获取xpath4.存储为txt文档总结 文章目录一、使用步骤1.引入库2.获取网页的HTML3.获取xpath4.存储为txt文档总结 提示：以下是本篇文章正文内容，下面案例可供参考 一、使用步骤 1.引入库 导入requests库和etree库 import requests from lxml import etree 2.获取网页的HTML html=requests.get('https://so.gushiwen.org
抓取B站所有用户信息(11/29更新数据)
热门推荐
Qwertyuiop2016的博客
04-14 2万+
有时候没有实际需求，那学习就只能从爱好入手了。 目前我所想到的一些感兴趣的任务有，B站所有用户、B站视频下载、B站弹幕和评论分析(这个就有意思了，弹幕和评论是可以知道是谁发的，那么当你有了B站所有弹幕和评论的时候，你就可以从一个人发的弹幕和评论分析这个人的性格特点，不过想要所有数据，这几乎是不可能的，代理数量和质量达不到)、虎牙和斗鱼直播视频和弹幕实时获取(主要是没时间去看，只能下下来空闲的时候...
python 获取b站 全站用户信息 并筛选直播用户 & 仅获取直播分区用户信息
Love丶伊卡洛斯
02-20 1017
本程序是项目的一个子程序，用于获取用户信息，并筛选直播用户。uid从1开始累加搜索全站。
Python进行数据爬取
gyz666的博客
03-09 1万+
1.基本的爬虫架构主要包括调度器，URL管理器，网页下载器，网页解析器这些部分，实现价值数据的获取。1.1 URL管理器      对待抓取的URL集合和已抓取的URL集合进行管理，避免重复抓取和循环抓取。      主要有5个部分的功能，判断待添加URL是否在容器中、添加新的URL到待爬取集合、判断是否还有待爬取集合、获取待爬取URL、将URL从待爬取的集合移动到已爬取集合中。     分类：P...
B站高考视频数据分析与可视化全流程解析
资源摘要信息:"本项目涉及使用Python编程语言对B站（Bilibili）上与高考相关的视频内容进行数据爬取，并对收集到的数据进行分析、建模以及可视化处理。项目的目标是通过对视频的发布时间、播放量和标题信息等数据的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值