qq_32828053的博客

python爬虫——文件压缩import osimport reimport zipfile#压缩文件'''压缩文件夹内的各个文件操作，传参需要压缩的文件夹位置path01压缩文件的保存位置path02文件压缩的实质时创建一个zip文件然后把选压缩的内容写入zip文件'''def zip(path01,path02): path1 = path01 + '\\' # 读取文件夹内的所有文件 files = os.listdir(path1) for f

爬虫——小说（2）一、针对的爬虫类型及实现方法二、步骤拆分三、整体代码

python爬虫-小说（01）一、分析网址一般我们下载之前都需要看一下网页信息，进行分析实现的方式；通常来说是从最底层向外一步步实现；比如本次下载的小说是神道丹帝先打开单章，然后分析单章的下载，实现之后我们再分析实现自动获取章节信息下载，章节下载也实现了，那下一步就是自动获取小说进行整本下载；先打开单章，我们分析单章的下载如图，也就是说我们访问单章的url从响应里面就可以获取到我们需要的章节内容和章节标题；接下来我们分析实现批量章节下载，其实也就是说我们只需要把这些章节的url都获取到，循

python——视频爬虫：m3u8问价中.ts视频流的解密下载一、引用的库这里需要引用的库是：from Crypto.Cipher import AES有坑哈，python3.0之后直接安装crypto你会发现不管怎么着都会报错。经过查找资料找到了原因，原来是20年之后crypto已经被pycryptohome替换掉啦，如果之前安装过crypyo 活pycrypto需要先卸载pip uninstall crypyo pip uninstall pycrypyo 然后再安装pycryptoh

python爬虫—视频爬虫2（m3u8）一、视频爬虫的分析今天我们爬的视频比上一期的要特殊一些，一些网站使用m3u8来进行视频的播放工作，特意去搜了一下m3u8与mp4相比的一些优势：1.HTML5 直接支持m3u8协议。2.m3u8其实是一个协议而不是一种视频格式，m3u8里面包括的多是视频块索引。可以通过网络状态自动切换码率。MP4就没有这方面优势了。3.m3u8允许客户在进行播放时，从许多不同的备用源中下载视频块。4.m3u8是HLS协议的部分内容。是一种能够通过http报文就能够请求和

python爬虫-视频爬虫（1）一、视频爬虫介绍本篇文章主要是针对直接可以找到完整视频的链接（可能需要拼接成完整链接）进行下载的那一类视频爬虫二、视频爬虫步骤和所有的爬虫一样，首先熟悉你需要爬虫的网页，从中找到我们需要下载的视频的链接、或者可以拼接成视频的下载链接，最后才是把这个过程用python代码来实现自动化。三、爬虫代码的实现以【好看视频】网址为例和图片的爬虫不同，图片的链接都是可以在网页的源码中找到的，而视频需要你打开F12刷新网页查看接口请求，从接口的响应里面获取数据；让我们先打开

python 图片爬虫心得一、流程1、熟悉需要爬虫网页的基本信息2、在网页源中找到图片的url并尝试打开3、编写python脚本4、执行脚本下载图片二、熟悉爬虫网页的基本信息爬虫之前首先你需要了解你爬虫的图片所在的网页的信息并根据这些信息找到图片，从而找到图片的url下载链接，进行下载尝试，如果成功说明OK可以把这个方式进行python脚本化批量执行。以萌图社：https://moetu.club/612.html为例：打开网页是这样的：其中的图片是我们需要的，也就是我们需要下载的图片