Python爬取 分析Ajax爬取B站python视频---详细资料

最新推荐文章于 2021-01-13 16:28:07 发布
转载 最新推荐文章于 2021-01-13 16:28:07 发布 · 572 阅读 · 2

本文介绍了一种使用Python爬取B站Python相关视频的方法，包括如何定位API接口、构造URL参数实现多页爬取，并提供了具体代码实现，涵盖视频标题、作者、播放量等信息的抓取。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Flag:一天一爬虫。

这篇是转的:https://blog.youkuaiyun.com/sixkery/article/details/81946308

亲测有效,

对转载网站的分析做进一步分析补充:

分析页面:

如何获取api?

这次我直接打开开发者工具，切换到Network下查找api，要点击Python旁边的搜索按钮，不然Network一片空白,

 点击搜索之后：

 会在其中找到，一个以api开头的网址，但是我们不能用此url作为我们爬取的对象，因为此url，没有包含page={},无法多页爬取,

此url只搜集这一页的视频信息。

此url

https://api.bilibili.com/x/web-interface/search/all?jsonp=jsonp&highlight=1&keyword=python&callback=__jp0

 然后，

 依次点击尝试，

找到page，意味着可以多页爬取了,然后就是构造url。

代码:

import requests
import json, re, time
from requests.exceptions import RequestException


class Spider():

    def get_page(self, page):
        try:
            headers = {
                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64)'
                              ' AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
            }
            url = 'https://api.bilibili.com/x/web-interface/search/type?jsonp=jsonp&&search_type=video&highlight=1&keyword=python&page={}'.format(
                page)
            r = requests.get(url, headers)
            if r.status_code == 200:
                return r.text
            else:
                print(r.status_code)
        except RequestException:
            print('请求失败')
            return None

    def parse_page(self, html):
        # 转换成JSON对象，好操作
        data = json.loads(html)

        results = data.get('data').get('result')
        for result in results:
            # 获取图片地址
            image_url = result['pic']
            # 获取视频地址
            video_url = result['arcurl']
            # 获取作者
            video_author = result['author']
            # 获取视频标题，中间有额外的字符，用re替换一下
            video_title = result['title']
            video_title = re.sub('<em class="keyword">[Pp]ython</em>', 'Python', video_title)
            # 获取播放量
            video_play = result['play']
            # 获取上传时间,这里将时间戳转换成标准格式
            video_date = result['pubdate']
            timestr = time.localtime(video_date)
            video_date = time.strftime('%Y-%m-%d %H-%M-%S', timestr)
            print(image_url, video_url, video_title, video_play, video_date)

    def run(self):#爬取前三页
        for i in range(1, 3):
            html = self.get_page(i)
            self.parse_page(html)


def main():
    spider = Spider()
    spider.run()


if __name__ == '__main__':
    main()

爬取结果,

本来想爬一下那个all的api，奈何能力不够，找代理池，换header都解决不了问题，，

此处先贴上代码，以后解决。

import requests
import json, re, time
from requests.exceptions import RequestException
import random
import urllib as ulb
class Spider():

    def get_page(self):
        try:
            my_headers = [
                "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36",
                "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36",
                "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0",
                "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.75.14 (KHTML, like Gecko) Version/7.0.3 Safari/537.75.14",
                "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Win64; x64; Trident/6.0)",
                'Mozilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.8.1.11) Gecko/20071127 Firefox/2.0.0.11',
                'Opera/9.25 (Windows NT 5.1; U; en)',
                'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)',
                'Mozilla/5.0 (compatible; Konqueror/3.5; Linux) KHTML/3.5.5 (like Gecko) (Kubuntu)',
                'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.12) Gecko/20070731 Ubuntu/dapper-security Firefox/1.5.0.12',
                'Lynx/2.8.5rel.1 libwww-FM/2.14 SSL-MM/1.4.1 GNUTLS/1.2.9',
                "Mozilla/5.0 (X11; Linux i686) AppleWebKit/535.7 (KHTML, like Gecko) Ubuntu/11.04 Chromium/16.0.912.77 Chrome/16.0.912.77 Safari/535.7",
                "Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:10.0) Gecko/20100101 Firefox/10.0 "
            ]
            headers =random.choice(my_headers)
            url = 'https://api.bilibili.com/x/web-interface/search/all?jsonp=jsonp&highlight=1&keyword=python&callback=__jp0'
            proxies = {
                'https': 'https://114.99.7.122:8752'}
            proxy_list = [
                '183.95.80.102:8080',
                '123.160.31.71:8080',
                '115.231.128.79:8080',
                '166.111.77.32:80',
                '43.240.138.31:8080',
                '218.201.98.196:3128'
            ]
            # 随机从IP列表中选择一个IP
            proxy = random.choice(proxy_list)
            # 基于选择的IP构建连接
            urlhandle = ulb.request.ProxyHandler({'http': proxy})
            opener = ulb.request.build_opener(urlhandle)
            ulb.request.install_opener(opener)

            r = requests.get(url, headers,proxies=proxies)
            if r.status_code == 200:
                return r.text
            else:
                print(r.status_code)
        except RequestException:
            print('请求失败')
            return None

    def parse_page(self, html):
        print(html)
        # 转换成JSON对象，好操作
        # data = json.loads(html)
        # print(data)
#        results = data.get('data').get('result')
#         results=data.get('data').get('result').get('video')
#         for result in results:
#             author_=result['author']
#             print(author_)
            # # 获取图片地址
            # image_url = result['pic']
            # # 获取视频地址
            # video_url = result['arcurl']
            # # 获取作者
            # video_author = result['author']
            # # 获取视频标题，中间有额外的字符，用re替换一下
            # video_title = result['title']
            # video_title = re.sub('<em class="keyword">[Pp]ython</em>', 'Python', video_title)
            # # 获取播放量
            # video_play = result['play']
            # # 获取上传时间,这里将时间戳转换成标准格式
            # video_date = result['pubdate']
            # timestr = time.localtime(video_date)
            # video_date = time.strftime('%Y-%m-%d %H-%M-%S', timestr)
            # print(image_url, video_url, video_title, video_play, video_date)

    def run(self):#爬取前三页
        html = self.get_page()
        self.parse_page(html)
        # for i in range(1, 3):
        #     html = self.get_page(i)
        #     self.parse_page(html)


def main():
    spider = Spider()
    spider.run()


if __name__ == '__main__':
    main()

超强干货之---Python-数据爬取（爬虫）
房东的猫的博客
07-12 5万+
定义： 深度优先搜索是一种遍历或搜索树或图的算法，从起始节点开始，一直沿着一个分支走到底，再回溯到上一个节点继续搜索下一个分支，直到遍历完所有节点。特点递归：通常用递归实现，或者使用栈来模拟递归过程。内存占用低：在有大量分支的情况下，内存占用比广度优先搜索低。适合目标较深的情况：如果目标节点距离起始节点较深，DFS能更快找到目标。适用场景需要遍历所有节点的情况，如生成树、迷宫搜索。目标节点较深，且分支较多时。在大规模数据爬取时，选择合适的存储方式取决于数据的规模、结构和访问需求。
自动进行Ajax异步请求数据与腾讯视频评论爬虫
qq_35966478的博客
09-15 331
#自动进行Ajax异步请求数据与腾讯视频评论爬虫 #接近底层的去开发，框架开发 #scrapy框架 #爬虫时难的部分用翻糖js(处理复杂，但效率低哦),后续cookie，网址传递给scrapy#或者urllib来写，因为他们运行效率高 #xpath表达式也是用于信息提取，比正则表达式效率高，能力不高，一般只适合提取#xml格式的数据 #解决异步数据情况，首先想到抓包解决，通过fiddler这个软件...
python爬取Ajax动态加载网页过程解析
09-18
主要介绍了python爬取Ajax动态加载网页过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Python 自动爬取B站视频
aa602954056的博客
12-29 582
文件名自定义（文件格式为.py），脚本内容: #!/usr/bin/env python #-*-coding:utf-8-*- import requests import random import time def get_json(url): headers = { 'User-Agent': 'Mozilla/5.0 (X11; L...
分析Ajax爬取B站python视频
sixkery的博客
08-22 1923
B 站真是个神奇的网站。找不到资料了，去 B 站逛一逛，保准有你满意的东西。 前几天写了个爬虫，用 path、re、BeautifulSoup 爬取的 B 站 python 视频，但是这个爬虫有有个缺陷，没能获取视频的图片信息，如果你去尝试你会发现它根本就不在返回的结果里面。今天就用分析 Ajax 的方法获取到。 分析页面 通常我们在分析页面的时候，都要切换到 Network 分析url 从...
python教程视频ajax_python怎么爬取ajax
weixin_39676348的博客
11-23 151
使用python包：requests。具体方法：（推荐学习：Python视频教程）首先是定义自己headers，注意headers里面的User-Agent这一字段可以根据自己需求设计一个列表，用于随机调换。ajax数据的网页特点：NetWork中的XHR网络流中有一些ajax请求，其中它们request_url必定是一个ajax请求接口，并且headers里面的referer是其跳转前的url，...
动态爬虫(ajax)-爬取bilibili热门视频信息
qq_43954124的博客
01-13 4361
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、页面分析那么，怎么捕获这个接口呢？二、使用步骤1.引入库2.读入数据总结 前言 使用python爬虫爬取bilibli每日热门视频的数据 使用的第三方包有requests、my_fake_useragent 一、页面分析 在进行爬虫之前，我们先要对要爬取的页面进行分析，找到想要使用的接口 bilibili热门排行的地址：https://www.bilibili.com/v/popular/all?spm_id_from=
python爬取b站弹幕分析_B站直播弹幕获取 - 用python写一个B站弹幕姬吧
weixin_39652869的博客
11-24 1412
前言关于这个小项目的由来。最开始是想要利用b站的弹幕进行一些互动之类的。原本也有想过可以利用现有的弹幕姬做个插件来解决的，但无奈不会C#，所以只能自己研究b站的弹幕协议。后来有写过一个C++版本的，不过有一些小问题，这在后文中会提到。开码一丶利用 POST 方式获取 B 站直播弹幕参考：【python】b站直播弹幕获取首先，随便打开一个b站的直播页面，按F12打开控制台，点进“网络（Network...
python爬取ajax网页，用json形式获取数据，并存入excel中
04-17
某疾病下SNP与gene关联关系下载，采用python爬取ajax网页，用json形式获取数据，并存入excel中。亲测可行。主要是获得https的隐藏url, 具体百度都有。
Python爬取冰冰的第一条vlog并进行数据分析
热门推荐
北山啦的博客
01-02 4万+
Python对冰冰的第一条vlog千条评论并进行数据分析，绘制词云图，看看大家说了什么吧。
【2】Python爬虫：分析AJAX传递的JSON获取数据-初步分析动态网页（1）
如梦如幻的博客
01-30 3万+
这是本人写的第二篇文章。希望能够帮助到一些和我一样的python爬虫初学者。 在第一篇文章中，我总结了最近学到的利用requests和bs4第三方库共同作用，基本可以应对python获取静态网页数据的相关问题。但是如果现实中的网页往往比想象中复杂的多，网页也早已不再是纯静态网页。 因此，本文对动态网页、异步加载的爬取方法之一进行了实例分析。
如何快速爬取B站全站视频信息
Python中文社区
11-03 1万+
專 欄 ❈陈键冬，Python中文社区专栏作者，知乎专栏：尽瞎扯 GitHub： https://github.com/chenjiandongx ❈ B站我想大家都熟悉吧，其实 B 站的爬虫网上一搜一大堆。不过纸上得来终觉浅，绝知此事要躬行，我码故我在。最终爬取到数据总量为 760万 条。 准备工作 首先打开 B 站，随便在首页找一个视频点击进去。常规操作，打
Ajax数据爬取-爬虫篇
ViMan1204的博客
07-25 1932
前言： 有时候我们用requests抓取页面的时候，得到的结果可能和在浏览器中看到的不一样：在浏览器中可以看到正常显示的页面数据，但是使用reuqest的到的结果并不一样。这是因为request获取的都是原始的HTML文档，而浏览器中的页面则是经过JavaScript处理数据后生成的结果，可能是通过Ajax加载的，可能是包含的HTML文档中的，也可能是经过JavaScript和特定的算法计算后生成...
Python爬虫分析——B站UP主视频数据分析
努力中的老周的专栏
03-19 1万+
背景 一个朋友的要求，对B站UP主的视频进行分析。至于要做什么，你懂的。 核心 使用B站提供的API，爬取数据，进行分析。具体B站提供的API就不说了，https://www.bilibili.com/read/cv3430609/，自己看去。 获取UP主的视频列表 使用getSubmitVideos。具体的格式为如下： https://space.bilibili.com/ajax...
python爬取b站视频信息
最新发布
03-08
### 使用 Python 实现 B 站视频详情数据抓取 为了实现这一目标，可以采用 `requests` 和 `BeautifulSoup` 库来处理静态页面中的 HTML 数据；对于动态加载的内容，则可能需要用到像 Selenium 这样的工具模拟浏览器行为获取 JavaScript 渲染后的 DOM 结构[^1]。 #### 准备工作 安装必要的库： ```bash pip install requests beautifulsoup4 selenium pandas ``` #### 获取视频详情页 URL 及其 ID 通常情况下，每条视频都有唯一的 AV/BV 编号作为标识符。可以通过正则表达式从给定链接中提取这些编号用于后续 API 请求构建[^2]。 #### 发送 HTTP GET 请求并解析响应体 利用 `requests.get()` 方法向服务器发起请求，并通过 BeautifulSoup 解析返回的文档对象模型 (DOM)，定位到 `<script>` 标签内的 JSON 字符串部分，其中包含了视频的具体信息如标题、封面图地址等。 #### 处理 AJAX 加载的数据 如果遇到异步加载的情况，比如评论区或者弹幕列表，就需要进一步研究官方提供的 RESTful 接口文档，直接调用相应的端点以获得更完整的资源描述[^3]。 下面是一个简单的例子展示如何读取和打印某个特定 BV 号对应的视频基本信息： ```python import re import json from bs4 import BeautifulSoup as BS import requests def get_video_info(bvid): url = f"https://www.bilibili.com/video/{bvid}" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)', 'Referer': url, } response = requests.get(url=url, headers=headers) soup = BS(response.text, "html.parser") script_tags = str(soup.find_all('script')) pattern = r'window.__INITIAL_STATE__=(.*?);\(function\(\)' match_result = re.findall(pattern, script_tags) if not match_result: raise ValueError("Failed to find video info.") data_str = match_result[0].strip() try: parsed_json = json.loads(data_str)['videoData'] title = parsed_json['title'].replace("\n", "") desc = parsed_json['desc'] print(f"Title: {title}") print(f"Description:\n{desc}") except KeyError as e: print(e) if __name__ == "__main__": bvid_example = input("Enter the target video's BV number:") get_video_info(bvid=bvid_example) ``` 此脚本会访问指定的 B 站视频页面并通过查找包含初始状态的对象字面量来抽取所需的元数据字段。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值