
爬虫
文章平均质量分 56
菜里亚批
只要努力学习,一定能成为最菜的那一个
展开
-
增量爬虫 Demo
import reimport requestsimport queueimport threadingimport hashlibimport redisimport time# 找一下页面的规律# https://www.che168.com/beijing/a0_0msdgscncgpi1lto1csp2exx0/# url = f"https://www.che168.com/beijing/a0_0msdgscncgpi1lto1csp{1}exx0/"class c.原创 2021-12-31 14:35:10 · 838 阅读 · 0 评论 -
使用python搞定<百度云盘> 视频限速/网页限制(我们就给他拿下来)
今天本来打算看个百度云盘的视频,在电脑上直接点开页面,看了才30秒,就要我保存到网盘才能继续看????? 这是什么操作然后就保存到网盘。。。发现又是各种限制,配速也不行既然不行,那我们就换一个办法(开始正题了哈)首先第一步,找到他的m3u8文件,从接口里面捞了一下,还是很好找的看下m3u8这个接口信息,是一个get请求,但是直接拿出来请求不太好使,应该是在headers里面添加一些限制了(感兴趣的小伙伴可以去找下headers里面的内容,和api的参数拼接)...原创 2021-10-09 21:08:26 · 2954 阅读 · 0 评论