Python采集某网站内容, m3u8内容下载

前言

嗨喽，大家好呐！这里是魔王~

环境使用:

• Python 3.8 <建议最好是和一样版本>
• Pycharm

模块使用:

• import requests >>> pip install requests

内置模块 你安装好python环境就可以了

• import re
• import json

如果安装python第三方模块:

1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
2. 在pycharm中点击Terminal(终端) 输入安装命令

实现案例 <通用模板>

一. 数据来源分析

采集数据内容, 要知道我们想要内容是来自哪里

<开发者工具进行抓包分析>

1. F12打开打开发者工具
2. 刷新网页 让数据重新加载一遍
3. 这个网站是一个m3u8内容

正常情况, 一个完整的内容

m3u8内容 会整个完整内容,分割成很多个小视频片段 <ts文件> 一个ts文件 可能只有几秒钟的时间

所以我们得去找一个文件内容 <m3u8文件> 包含我们所有ts文件内容 <所有视频片段>

最好的搜索方式, 是根据ts文件url去搜索m3u8文件

请求获取网页源代码 就可以得到m3u8文件 >>> 所有片段就得到了 >>> 合成为一个整体的内容

二. 代码实现步骤: <基本四大步骤>

1. 发送请求, 对于播放详情页url地址发送请求

2. 获取数据, 获取网页源代码 <获取服务器返回response响应数据>

3. 解析数据, 提取我们想要数据内容 <m3u8文件>

4. 发送请求, 对于m3u8文件url发送请求

5. 获取数据, 获取服务器返回response响应数据

6. 解析数据, 提取所有ts文件内容 <片段url>

7. 保存数据, 保存内容到本地

代码

import time

import requests  # 数据请求模块
import re  # 正则表达式模块
import json
import pprint

for page in range(3, 29):
    print(f'正在采集第