dy小姐姐一向好看~今天我们就用python来通通抓下来吧

最新推荐文章于 2025-03-24 09:07:23 发布

原创

最新推荐文章于 2025-03-24 09:07:23 发布 · 1.7k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#python #pycharm #开发语言

前言

大家早好、午好、晚好吖~

环境使用]:

Python 3.8
Pycharm
谷歌浏览器
谷歌驱动

模块使用]:

requests >>> pip install requests
re
json
selenium >>> pip install selenium==3.141.0 <需要浏览器和浏览器驱动>

工具、软件安装教程点击蓝色字体自取，我都放在这里了。

如何安装python第三方模块:

win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
在pycharm中点击Terminal(终端) 输入安装命令

基本思路流程: <通用>

一. 数据来源分析

确定需求 --> 采集那个网站上面什么数据内容
- 视频标题
- 视频播放链接 --> 才能下载视频
通过开发者工具进行抓包分析 --> 网页浏览器自带工具
- F12 或者右键点击检查
- 刷新网页 --> 让网页数据内容重新加载一遍
- 选择 media 可以直接找视频播放链接
- 通过开发者工具搜索, 可以直接找视频播放地址来源

二. 代码实现步骤过程:

获取数据, 获取服务器返回响应数据 —> response
解析数据, 提取我们想要的视频标题以及播放地址
保存数据, 把视频内容保存本地文件夹

代码

# 导入<工具> 数据请求模块 --> <相当于手机第三方应用>第三方模块, 需要自己在cmd / pycharm终端 里面进行 pip install requests
import requests
# 导入正则  --> 内置模块 不需要安装 <相当于手机自带APP>
import re
# 导入json模块 --> 内置模块 不需要安装 <相当于手机自带APP>
import json
# 导入格式化输出模块 --> 内置模块 不需要安装 <相当于手机自带APP>
from pprint import pprint
# 导入模块
from selenium import webdriver
# 导入时间模块
import time
# 采集多个视频, 获取所有视频ID