利用Python爬取B站千万级数据，并对其进行简单的分析

最新推荐文章于 2025-09-29 12:02:54 发布
原创 最新推荐文章于 2025-09-29 12:02:54 发布 · 2.5k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Python #Python3 #Python基础 #Python爬虫 #数据分析

本文介绍了如何使用Python3爬取B站10万用户数据，包括数据存储、词云分析等步骤。首先，通过requests模块抓取用户关注列表，由于B站隐私限制，只能获取前5页关注者，共100人。接着，将数据存储到数据库，并进行词云分析，使用特定图片作为词云mask，展示用户关注的分布情况。

说起热门的B站相信很多喜欢玩动漫的，看最有创意的Up主的同学一定非常熟悉。B站上面除了动漫之外也有很多有趣的视频，也有很多教学视频，是非常不错的一个网站。

本篇文章要点

爬取10万用户数据

数据存储

数据词云分析

基本环境配置

版本：Python3

系统：Windows

相关模块：requests

Python爬虫的基本思路

实现步骤

爬取用户数据

存入数据库

词云分析

词云效果图


对Python感兴趣或者是正在学习的小伙伴，推荐我们的Python学习扣qun：784758214 ，看看前辈们是如何学习的！从基础的pyt

最低0.47元/天 解锁文章
python爬虫项目（八）：爬取B站视频数据并进行视频流行趋势预测
斌擎科技
10-01 2631
随着视频平台的普及，B站（哔哩哔哩）作为中国知名的弹幕视频网站，拥有大量用户和内容创作者。我们可以利用ARIMA模型进行时间序列预测，特别适合预测连续时间点上的数据，如视频播放量的增长趋势。# 可视化相关系数矩阵。
Python数据采集新纪元：基于Playwright与异步技术的学术论文数据高效爬取实战
最新发布
2201_76125261的博客
10-02 1356
我们将以arXiv、Google Scholar等典型学术平台为例，从爬虫伦理、技术选型、核心代码实现、反反爬策略、数据存储到系统架构，进行全面剖析，并提供超过500行的实战代码，助你在大数据学术研究中抢占先机。print(f"HTTP错误: {e.response.status_code} - {e.response.reason_phrase}")这种方式高效、合规，是对网站最友好的爬虫方式。：Python爬虫、学术数据、Playwright、异步编程、httpx、数据解析、反反爬虫、MongoDB。
b站爬虫大作业（大二）--（利用selenium模块爬取数据、利用pyecharts模块制作可视化图表）（bilibili数据可视化）
m0_74282695的博客
11-07 6524
要注意的是：在爬取的过程中，需要我们实时加载页面，因为页面如果不加载，数据就无法被系统检测到，会导致程序卡死，这个时候我们大概率只能重新来过，如果你看懂了代码，稍微修改一下就能够实现在对应的地方继续爬虫或者重复爬虫。
Python爬虫抓取B站视频数据并进行分析
Datafox（数据狐199-7010-8018）
09-29 699
本文介绍B站视频数据抓取与分析技术方案。通过解析JSON数据获取视频基础信息（成功率92%），采集弹幕需先获取视频cid。针对动态渲染内容使用Selenium获取BV号。反爬策略包括优化请求头、实现WBI签名和设置1.5-3秒请求间隔。提供Python示例代码，支持SHA1签名生成和字段筛选，包含完整错误处理机制。数据分析维度包括视频流行度、用户行为等，为内容趋势研究提供依据。
【Python】大数据挖掘课程作业1——使用爬虫爬取B站评论、弹幕与UP主的投稿视频列表
weixin_41429999的博客
06-21 8130
【Python】大数据挖掘课程作业1——使用爬虫爬取B站评论、弹幕与UP主的投稿视频列表 数据挖掘部分的基本目标是：对于指定的UP主，能够获取其投稿视频列表；对于指定的视频，能够获取其视频标签、评论（包括评论下的回复）、弹幕。 文章默认读者对网络爬虫有一定的基础知识； 文章写作时（2020-06），B站正处于AV号像BV号过度的时期，部分API可能会在今后发生重大变化，请今后的读者注意。 获取指定UP主的投稿视频列表 首先，我们知道每一个B站帐号都有一个对应的数字UID，然后，通过在浏览器中访问用户的个人主
python 爬取周董新歌《Mojito》MV弹幕，看看粉丝们都说了些啥
人生苦短， 还不用Python？
06-20 760
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 作者：黄伟/数据分析与统计学之美 PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取http://t.cn/A6Zvjdun 6月12日凌晨0点，周杰伦最新单曲《Mojito》正式上线，仅上线1小时销售量就超过百万张。歌名翻译成中文是莫吉托，一种巴西鸡尾酒，怪不得观看这首歌MV的时候，感受到一股很浓烈的异域风情呢。 周董的上一首单曲《说好不哭》是在2019年9月发布
【LeetCode】剑指 Offer 03. 数组中重复的数字（Java）
小楊同学的笔记本
10-08 505
找出数组中重复的数字。 在一个长度为 n 的数组 nums 里的所有数字都在 0～n-1 的范围内。数组中某些数字是重复的，但不知道有几个数字重复了，也不知道每个数字重复了几次。请找出数组中任意一个重复的数字。 解法一 数组 class Solution { public int findRepeatNumber(int[] nums) { int[] arr = new int[nums.length]; //统计nums中出现的数字及个数 for
python爬取B站千万级数据，发现了这些热门UP主的秘密！
qq_42238397的博客
06-07 5541
Python（发音：英[?pa?θ?n]，美[?pa?θɑ:n]），是一种面向对象、直译式电脑编程语言，也是一种功能强大的通用型语言，已经具有近二十年的发展历史，成熟且稳定。它包含了一组完善而且容易理解的标准库，能够轻松完成很多常见的任务。它的语法非常简捷和清晰，与其它大多数程序设计语言不一样，它使用缩进来定义语句。Python支持命令式程序设计、面向对象程序设计、函数式编程、面向切面编程、泛型编...
python数据分析实例:python抓取课工厂网站数据和分析
python_doris的博客
12-27 1126
在线教育网站学习，是很多人利于闲余时间进行充电的一种选择。本篇文章利用python抓取在线教育网站课工场课程页面的数据,进行简要分析。 通过使用requests库对课工场课程列表页进行抓取。 通过BeautifulSoup对课工场课程列表页面进行解析，并从中获课程名称，课程类型，付费类型，课程学习人次的数据。 最后再利用python的pandas，matplotlib，seaborn模块对数据进行...
阿勒泰旅游数据可视化大屏
HardHardHardenna的博客
06-08 1902
基于python对阿勒泰旅游数据大屏可视化
上千万数据mysql mongodb_MongoDB千万级数据的分析
weixin_42662171的博客
02-05 1817
MongoDB千万级数据的分析 一、导入 清单1： 读取CSV文件，存储到数据库中 01 #-*- coding:UTF-8 -*- 02 03 Created on 2013-10-20 04 05 06 @author: tyk 07 08 09 10 11 from pymongo.connection import Connection 12 from time import time 1...
爬取哔哩哔哩数据
m0_53225687的博客
07-20 2621
1、前言 哔哩哔哩是当代年轻人最喜欢的app之一，最近呢又看到了哔哩哔哩上了热收哈哈哈哈。 2代码 首先我们肯定是要获取他的链接找到弹幕存储的位置 示例链接： https://www.bilibili.com/video/BV1TX4y1P7BK 我们查看网页的源代码： 查阅资料可以知道在弹幕是存储在https://comment.bilibili.com/331677295.xml这个文件里面 我们查看一下 可以看到这个视频的弹幕都在这了只需要把他提取出来就欧克了 那我们...
用Python扒出B站那些“惊为天人”的阿婆主！
Python学习Q群696455390
03-23 153
前言 近期B站的跨年晚会因其独特的创意席卷各大视频网站，给公司带来了极大的正面影响，股价也同时大涨，想必大家都在后悔没有早点买B站的股票： ​ 然而今天我们要讨论的不是B站的跨年晚会，而是B站的核心资源：“惊为天人”的阿婆主们，文章的灵感来自于知乎热榜上的一个问题： 数据获取 上面的问题一共获得了859个回答，本文的数据也正来...
python爬取bilibili数据_BiliBili爬取数据简单分析
weixin_39869043的博客
11-24 683
爬虫介绍：从1号直播间爬取发弹幕人账号，当时在线人数有五万左右，但到8000多时每3s发弹幕的新用户已经很少了，所以我就以这8000多人为起始点，将其放入队列中，取出一个，获得其关注人数，粉丝数，并将其关注的人放入队列中。我介绍爬虫的目的是，说明从爬取的方式来数据具有偏向性，偏向有关注的用户，对于没有关注者的人只可能在那8000多人中才会被爬到。对于用户信息，我爬取了，id，name，sex，地址...
爬虫（六）B站案例分析
weixin_42485847的博客
05-19 967
一.准备url 要爬取的B站的鬼畜部分，选择了教程演示（视频个数比较少），在搜索里进行页面上信息的搜索来确定url 得到url: https://api.bilibili.com/x/web-interface/newlist?callback=jqueryCallback_bili_8038458089269198&rid=127&type=0&pn=1&ps=20&jsonp=jsonp&_=1589855603296 url 进行处理 对url
【爬虫+数据清洗+可视化分析】用Python分析哔哩哔哩“阳了“的评论数据
马哥的专栏
12-27 8964
马哥原创：用python抓取并分析哔哩哔哩关于"阳了"的视频评论数据。
使用Python爬取B站UP主所有视频信息
热门推荐
qq_41661843的博客
02-29 1万+
运行整个流程self.get_url() # 获取当前页面的视频URLself.next_page() # 遍历所有页面获取视频URL# 使用多线程提高数据获取效率thread.join() # 等待所有线程完成# 所有线程完成后，保存数据到Excel。
python读取千万级数据库数据类型_python+mysql:实现一千万条数据插入数据库
weixin_39849548的博客
11-24 509
作业要求构建一个关系模式和课本中的关系movies(title,year,length,movietype,studioname,producerC)一样的关系，名称自定，在这个关系中插入1000万条记录。注：关系movies的主键为(title,year)。要求如下：在尽可能短的时间内完成；只允许使用原生的SQL，不允许将SQL作为嵌入语言，也不允许使用其他语言如C#、Python等来完成；提交...
python3网络爬虫--爬取b站用户投稿视频信息（附源码）
懷淰メ的博客
11-24 6947
上次写了篇 python3网络爬虫–爬取b站视频评论用户信息（附源码） 效果良好，因此再写一篇爬取用户投稿视频的爬虫，思路简单一些。不过本次将数据存储到了MySQL数据库。 本次要实现：手动输入用户id，程序根据这个id爬取此用户的所有投稿视频，最终将数据存储到MySQL数据库中，并且数据存储到以用户名为数据表名的数据表中。 一．准备工作 1．工具 （1）chrome浏览器 下载地址：https://www.google.cn/chrome/，用于分析网结构。 jsonhandle 用于分析json格式化数
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值