Python采集某网站m3u8内容，美女我来了~

前言

嗨喽，大家好呀~这里是爱看美女的茜茜呐

又到了学Python时刻~

---

环境使用:

• Python 3.8

• Pycharm

---

模块使用:

• import requests >>> pip install requests

• import re 正则表达式 解析数据

• import json

安装python第三方模块:

1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车

2. 在pycharm中点击Terminal(终端) 输入安装命令

---

基本思路流程: <通用>

一. 数据来源分析:

1. 明确需求:

   采集是什么网站

   采集是什么数据

   • shipin内容

   • shipin标题

2. 分析我们想要的数据内容, 是请求那个url地址可以得到的

   • 通过开发者工具进行抓包分析

     1. 打开开发者工具: F12 或者 鼠标右键点击检查选择network

     2. 刷新网页

     3. 分析shipin内容在哪里?

shipin内容: m3u8视频格式

正常shipin: 2分09秒 整体

m3u8: 把整体内容, 分成N个片段 <单独ts文件>, 所有片段 <ts文件> 包含在 m3u8 文件里面

获取内容 —> 获取所有ts文件<片段> —> 获取 m3u8 文件链接 —> 网页源代码里面

二. 代码实现步骤:

1. 发送请求, 模拟浏览器对于url地址发送请求

2. 获取数据, 获取网页源代码

3. 解析数据, 提取我们想要的数据内容

   • 标题

   • m3u8 文件链接

4. 发送请求, 模拟浏览器对于url地址发送请求

   m3u8 文件链接 发送请求

5. 获取数据, 获取ts文件内容

6. 解析数据, 提取我们想要的数据内容

   所有ts文件链接 <视频片段>

7. 保存数据, 所有片段保存下来, 然后合并成完整内容

---

代码展示

导入模块

# 导入数据请求模块 --> 第三方模块, 需要安装 pip install requests
import requests
# 导入正则模块 --> 内置模块 不需要安装
import re
# 导入json模块 --> 内置模块 不需要安装
import json
# 导入格式化输出模块 --> 内置模块 不需要安装
from