Python采集某网站小视频内容, m3u8内容下载

置顶 已于 2022-10-28 16:18:10 修改
阅读量2.5w 收藏 284
点赞数 59
CC 4.0 BY-SA版权
分类专栏： 爬虫小案例 文章标签： python pycharm 开发语言
于 2022-10-28 16:00:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_62853513/article/details/127573202
本文介绍了如何使用Python进行网络爬虫，解析m3u8视频链接并下载视频内容。详细讲解了从环境配置、模块安装到PyCharm设置，再到数据来源分析和代码实现步骤，提供了视频讲解和源码教程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言

大家早好、午好、晚好吖~

目录标题

环境使用:

  • Python 3.8

  • Pycharm

模块使用:

  • import requests >>> pip install requests

内置模块 你安装好python环境就可以了

  • import re

  • import json

模块安装问题:

如果安装python第三方模块:

  1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车

  2. 在pycharm中点击Terminal(终端) 输入安装命令

安装失败原因:

  • 失败一: pip 不是内部命令

    解决方法: 设置环境变量

  • 失败二: 出现大量报红 (read time out)

    解决方法: 因为是网络链接超时, 需要切换镜像源

    清华：https://pypi.tuna.tsinghua.edu.cn/simple
    阿里云：https://mirrors.aliyun.com/pypi/simple/
    中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
    华中理工大学：https://pypi.hustunique.com/
    山东理工大学：https://pypi.sdutlinux.org/
    豆瓣：https://pypi.douban.com/simple/

    例如：pip3 install -i https://pypi.doubanio.com/simple/ 模块名

  • 失败三: cmd里面显示已经安装过了, 或者安装成功了, 但是在pycharm里面还是无法导入

    解决方法: 可能安装了多个python版本 (anaconda 或者 python 安装一个即可) 卸载一个就好
    或者你pycharm里面python解释器没有设置好

如何配置pycharm里面的python解释器?

  1. 选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python解释器)

  2. 点击齿轮, 选择add

  3. 添加python安装路径

pycharm如何安装插件?

  1. 选择file(文件) >>> setting(设置) >>> Plugins(插件)

  2. 点击 Marketplace 输入想要安装的插件名字 比如:翻译插件 输入 translation / 汉化插件 输入 Chinese

  3. 选择相应的插件点击 install(安装) 即可

  4. 安装成功之后 是会弹出 重启pycharm的选项 点击确定, 重启即可生效

👇 👇 👇 源码、教程

资料点击 蓝色字体 自取 ，我都放在这里了。

如何实现虫案例: <思路流程 --> 通用>

一. 数据来源分析

  1. 分析清楚我们想要数据内容, 是在什么地方, 什么样子的

使用开发者工具进行抓包分析: 视频数据以及视频标题

I. F12 或者 右键点击检查选择network 刷新网页

这么多数据包, 我想要视频数据在什么地方?

  • M3U8 视频格式: 把整个完整的视频内容, 分为N个视频片段, 每个片段都是几秒钟 <看多少就加载多少>

所有视频片段 <ts文件> 都包含在 m3u8 的文件链接里面

II. 在开发者工具里面 直接搜索m3u8 可以直接找相对应链接地址

继续分析 这个 m3u8 url地址是从哪里过来 在什么地方有

III. 我们想要视频数据 <m3u8链接> 在 网页源代码里面有

获取整个视频内容 —> 分为N个视频片段<ts文件> —> 在m3u8链接里面 —> 视频播放详情页网页源代码里面

二. 代码实现步骤:

  1. 发送请求, 模拟浏览器对于视频播放详情页url发送请求

  2. 获取数据, 获取服务器返回响应数据
    开发者工具里 response

  3. 解析数据, 提取我们想要的数据内容
    - m3u8链接
    - 视频标题

  4. 发送请求, 模拟浏览器对于 m3u8链接 发送请求
    由第三步提取出来链接发送请求

  5. 获取数据, 获取服务器返回响应数据
    开发者工具里 response <对应所有ts文件链接>

  6. 解析数据, 提取我们想要的数据内容
    所有ts文件链接

  7. 保存数据, 把所有视频片段内容保存下来, 并且合成为一个完整视频内容

  8. 多页数据采集

代码展示

👇 👇 👇 源码、教程 领取

资料点击 蓝色字体 自取</

最低0.47元/天 解锁文章

200万优质内容无限畅学
Python采集某网站内容, m3u8内容下载
python56123的博客
05-28 1万+
前言 嗨喽，大家好呐！这里是魔王~ 环境使用: Python 3.8 <建议最好是和一样版本> Pycharm 模块使用: import requests >>> pip install requests 内置模块 你安装好python环境就可以了 import re import json 如果安装python第三方模块: win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回
Python采集某网站小视频内容, m3u8视频内容下载
python56123的博客
07-21 632
嗨喽~大家好呀，这里是魔王呐 ❤ ~!
M3U8视频下载器
11-29
可以下载m3u8格式的视频，然后自动转换成MP4格式的视频。
M3U8下载器
gitblog_09725的博客
09-11 525
M3U8下载器 【下载地址】M3U8下载器分享 M3U8下载器是一个用于根据M3U8地址下载文件的工具。M3U8是一种常见的视频流媒体格式，通常用于在线视频播放。本工具可以帮助用户从M3U8地址下载完整的视频文件，方便离线观看或进一步处理。 ...
M3U8批量下载器：高效视频流下载解决方案
最新发布
weixin_36299472的博客
05-07 1183
在互联网流媒体服务中，M3U8格式的视频文件因其流式传输和分片播放的特性广泛被采用。然而，对于某些用户而言，下载M3U8格式的视频内容可能面临诸多挑战。M3U8批量下载器便应运而生，它不仅可以帮助用户批量下载视频，还支持断点续传、自动合并视频片段等功能，极大地提高了下载效率和用户体验。
M3u8 Downloader 下载工具
gitblog_06733的博客
05-02 1211
M3u8 Downloader 下载工具 【下载地址】M3u8Downloader下载工具 M3u8 Downloader是一款高效、易用的开源下载工具，专为M3u8格式文件设计。经过优化，它能够快速获取并下载最新、最完整的资源，即使是大型文件也能在几分钟内完成。工具完全免费且开源，界面简洁，操作简单，只需几步即可轻松上...
M3U8 Downloader.zip
02-12
M3U8下载器
Python采集某网站m3u8内容，美女我来了~
热门推荐
m0_72282564的博客
12-27 1万+
嗨喽，大家好呀~这里是爱看美女的茜茜呐又到了学Python时刻~
Python采集视频数据，下载流媒体m3u8格式
python56123的博客
03-25 3787
前言 嗨喽！大家好，这里是魔王~ 本次目的： Python采集网站视频，下载流媒体m3u8格式视频 模块使用： requests >>> pip install requests (数据请求 第三方模块) re # 正则表达式 去匹配提取数据 json 开发环境： Python 3.8 解释器 Pycharm 2021.2 版本 建议 win + R 输入cmd 输入安装命令 pip install 模块名 如果出现爆红 可能是因为 网络连接超时 切换国内镜像源 爬
M3U8 Downloader(M3U8下载工具).zip
09-02
软件介绍: 开源的M3U8下载工具，在X系统上使用时需要安装.NET Framework4自还嗅探工具，可嗅探到指定类型的文件真实链接地址。支持批量下载m3u8格式文件，可调用ffmpeg下载，整合整个M3U8。使用方法：输入M3U8址，支持拖入M3U8文件，选择要下载的类型(FLV/MP4/MKV/TS)，选择下载路径。
M3U8.Downloader下载器.rar
07-01
M3U8-Downloader 是一款专门用来下载 M3U8 格式的在线视频的工具，并且还附带有其他一些实用工具。 只需要输入 m3u8 地址，选择需要的视频格式，比如 mp4，再选择下载路径，然后点击下载，M3U8-Downloader 就会帮你把这个播放列表里的视频都下载回来，并且自动合并成一个视频文件。 视频格式支持 FLV、MP4、MKV 和 TS。
M3U8 Downloader 基于 FFmpeg 的M3U8下载器
02-14
M3U8 Downloader开发背景 HLS （HTTP Live Streaming）是苹果公司实现的基于 HTTP 的流媒体协议，可以实现流媒体的点播和直播播放，主要用于PC和Apple终端的音视频服务。包括一个m3u(8)的索引文件、TS媒体分片文件和key加密串文件。 什么是M3U8？ 先从M3U说起，它是一种播放多媒体列表的文件格式，它的设计初衷是为了播放音频文件，比如MP3，但是越来越多的软件现在用来播放视频文件列表。很多播放器和软件都支持M3U文件格式。M3U8是Unicode版本的M3U，用UTF-8编码。”M3U”和”M3U8″文件都是苹果公司使用的HTTP Live Streaming格式的基础，这种格式可以在iPhone和Macbook等设备播放。简而言之，M3U8就是一个播放列表。所以问题来了，如果你想下载一个播放列表里的所有视频，然后再合并…还是不要想了。 这个事情就只好用大名鼎鼎的 FFmpeg 了，而 M3U8 Downloader 则是一款基于 FFmpeg 的M3U8下载器。如果你需要下载HLS 的M3U8和TS视频，也可以使用我们刚刚介绍过的Stream Recorder插件。 M3U8 Downloader简介 M3U8 Downloader 则是一款基于 FFmpeg 的M3U8下载器。新版修复了BUG，操作更加简单，下载也更加高效！软件小巧便携无需安装，不占内存。最大的优势就是速度快，下载容量大的东西不用花上一两个小时而是几分钟甚至几秒钟。
m3u8 下载工具 m3u8 downloader 2.9.7.rar
05-05
支持下载 m3u8 链接或文件为 mp4 或 ts 格式，并提供丰富的命令行选项。m3u8 downloader 开源的命令行 m3u8/HLS/dash 下载器，支持普通 AES-128-CBC 解密，多线程，自定义请求头等。支持简体中文,繁体中文和英文，完全免费。 开源免费 m3u8 下载工具 m3u8 downloader 中文版开源免费 m3u8 下载工具 m3u8 downloader 中文版 m3u8 downloader 特色： 不支持优酷视频解密 支持AES-128-CBC加密自动解密 支持多线程下载 支持下载限速 支持断点续传 支持Master List 支持直播流录制(BETA) 支持自定义HTTP Headers 支持自动合并 (二进制合并或使用ffmpeg合并) 支持选择下载m3u8中的指定时间段/分片内容 支持下载路径为网络驱动器的情况 支持下载外挂字幕轨道、音频轨道 支持仅合并为音频 自动使用系统代理（可禁止） 提供SimpleG简易的GUI生成常用参数 命令行选项 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 N_m3u8DL-CLI.exe [OPTIONS] --workDir Directory 设定程序工作目录 --saveName Filename 设定存储文件名(不包括后缀) --baseUrl BaseUrl 设定Baseurl --headers headers 设定请求头，格式 key:value 使用|分割不同的key&value --maxThreads Thread 设定程序的最大线程数(默认为32) --minThreads Thread 设定程序的最小线程数(默认为16) --retryCount Count 设定程序的重试次数(默认为15) --timeOut Sec 设定程序网络请求的超时时间(单位为秒，默认为10秒) --muxSetJson File 使用外部json文件定义混流选项 --useKeyFile File 使用外部16字节文件定义AES-128解密KEY --useKeyBase64 Base64String 使用Base64字符串定义AES-128解密KEY --useKeyIV HEXString 使用HEX字符串定义AES-128解密IV --downloadRange Range 仅下载视频的一部分分片或长度 --liveRecDur HH:MM:SS 直播录制时，达到此长度自动退出软件 --stopSpeed Number 当速度低于此值时，重试(单位为KB/s) --maxSpeed Number 设置下载速度上限(单位为KB/s) --enableDelAfterDone 开启下载后删除临时文件夹的功能 --enableMuxFastStart 开启混流mp4的FastStart特性 --enableBinaryMerge 开启二进制合并分片 --enableParseOnly 开启仅解析模式(程序只进行到meta.json) --enableAudioOnly 合并时仅封装音频轨道 --disableDateInfo 关闭混流中的日期写入 --noMerge 禁用自动合并 --noProxy 不自动使用系统代理 --disableIntegrityCheck 不检测分片数量是否完整 m3u8 downloader 是一款由 .Net 开发的一个简单易用的 m3u8 下载器，现在很多视频网站的视频都分割成了小片段，其 m3u8 就是来记录这一堆地址的文件，使用本下载器可以快速的下载并合并成一个完整的视频文件。
M3U8下载器(自动解密+合并：只需键入index.m3u8地址)
01-03
此工具是包含ffmpeg组件开发的，只需要m3u8地址即可自动web网页的下载合并
m3u8下载工具
01-04
m3u8下载工具。
m3u8怎样转入本地视频
weixin_45143156的博客
04-05 905
将M3U8视频流转换为本地视频通常需要下载M3U8文件引用的所有分段视频并将它们合并成一个完整的视频文件。它的好处是，直接在线转换，不需要下载软件。这个命令会下载M3U8链接引用的所有分段视频并将它们合并成一个MP4格式的视频文件。： 此软件可以解析M3U8文件或者地址，将视频进行下载，并转换为mp4格式存储在本地。：一旦FFmpeg完成了下载和合并，你就会在当前目录中找到名为output.mp4的视频文件，这就是你转换后的本地视频。这可能需要一些时间，具体取决于视频的大小和你的网络速度。
【亲测免费】 M3U8Downloader：高效便捷的流媒体下载工具
gitblog_09764的博客
10-28 701
M3U8Downloader：高效便捷的流媒体下载工具 【下载地址】M3U8Downloader M3U8Downloader 是一款专为下载基于 M3U8 格式的视频而设计的工具。M3U8 是一种常见的多媒体索引文件格式，广泛应用于流媒体传输，特别是在 HLS (HTTP Live Streaming) 协议中。本工具...
m3u8视频下载器
sakura_ting的博客
10-16 2806
m3u8视频下载器
数据流 hls
04-03
### HTTP Live Streaming (HLS) 数据流实现与原理 #### 1. HLS 的基本概念 HTTP Live Streaming (HLS) 是一种由 Apple 提供的流媒体传输协议，广泛应用于视频直播和点播场景。该协议的核心思想是将多媒体内容分成多个小片段（通常是几秒到几十秒），并将这些片段存储为标准的 TS 文件[^1]。 #### 2. 数据流的组成结构 HLS 使用两种主要类型的文件来描述和传递数据： - **M3U8 文件**：这是一个基于 M3U 格式的纯文本文件，包含了指向实际媒体片段（TS 文件）的链接列表以及元数据信息。M3U8 文件充当了一个索引角色，指导客户端如何按顺序加载各个片段[^2]。 - **TS 文件**：即 Transport Stream 文件，是一种常见的容器格式，用于封装音视频编码后的比特流。每个 TS 片段可以独立解码和播放。 #### 3. 工作流程概述 以下是 HLS 协议的工作机制： - **服务器端处理** - 媒体源被采集后上传至业务服务器，在此过程中可能涉及转码、分辨率调整等预处理步骤。 - 接下来，原始流会被切割成固定长度的小片段，并保存为 TS 文件形式；同时生成对应的 M3U8 索引文件以便于定位各片段位置[^4]。 - **客户端请求逻辑** 当用户启动支持 HLS 的播放器时，设备会先下载 M3U8 主清单文件以获取可用资源概览及其 URL 地址集合。随后依据网络状况动态选取合适的质量版本进行逐帧抓取回放[^3]。 #### 4. 技术优势分析 相比其他传统流媒体解决方案而言，HLS 具备如下显著特点： - 利用了普遍存在的 HTTP/HTTPS 连接方式作为载体，因此无需额外部署专用服务器或特殊防火墙设置就能顺利运作； - 支持多速率自适应功能(ABR)，允许终端根据实时带宽条件灵活切换不同清晰度级别的画面呈现效果从而优化观看体验； - 对硬件设施依赖程度较低，只要有普通的 Web Server 就足以满足基础需求。 ```python import subprocess def generate_hls(input_file, output_dir): command = [ 'ffmpeg', '-i', input_file, '-codec:copy', f'{output_dir}/out_%03d.ts' ] process = subprocess.Popen(command, stdout=subprocess.PIPE, stderr=subprocess.PIPE) stdout, stderr = process.communicate() if process.returncode != 0: raise Exception(f"Error generating HLS segments: {stderr.decode()}") ``` 上述脚本展示了利用 FFmpeg 工具执行 HLS 分片的一个简单例子。通过调用外部命令行程序完成从单一输入文件向一系列输出片段转换的任务。 ---
评论 52
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值