XavierJ的博客

文章目录1. 成果展示2. 软件下载3. 完整代码4. 样例输入5. 样例输出6. 打包教程7. 温馨提示8. 相关推荐1. 成果展示2. 软件下载win64：https://ghgxj.lanzous.com/iABghjltmpgwin32、mac和linux用户请自行通过源码打包。3. 完整代码import reimport requestsfrom tqdm import tqdminp = input('请输入复制的快手分享链接：') # https://v.kuais

软件下载https://ghgxj.lanzous.com/iRYi6jgf1ab使用教程成果展示目标站点https://wallpaperscraft.com/注意事项因为是国外的网站，所以开启VPN代理的话会快一些；当然如果你没有代理服务器，就不要开启代理。完整代码https://github.com/XavierJiezou/wallpaperscraft-downloader...

请求URL：https://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityId=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=20&totalpage=0&page=0&iOrder=0&SearchKey=sProdName&iSortNumClose=1&jsoncallbac

写在前面今天我们用python来编写批量爬取彼岸图网4K壁纸的脚本。目标站点http://pic.netbian.com/

写在前面最近在学vue.js，看到一个网站上有很多视频教程，但在线观看不能倍速播放，就想着用python爬虫批量下载到本地。安装依赖pip3 install requests测试样式加上序言总共有16个视频，我们用python爬虫技术批量下载到本地。https://learning.dcloud.io/#/?vid=0获取直链首先我们要获取视频的下载直链。鼠标右击检查，可以直接看到视频的直链。再看一下页面的源代码，发现视频的直链不见了，原来视频直链的位置变成了一个js脚本。如果

写在前面为什么要多线程？单个线程不能下载吗？多线程能占满网络实现宽带的满速下载而单线程不能。举个栗子：你的宽带是100Mb/s，理论上最大下载速度是100/8=12.5MB/s。你要下载一个843MB的视频，采用单线程下载你需要560秒才能下载完，而采用多线程（12个线程）你却可以在93秒内完成下载，时间将近缩短了6倍。如果计算一下网络的利用率，你还可以发现：单线程的平均下载速度是1.50MB/s，而多线程的平均下载速度是9.06MB/s，多线程几乎将网络资源利用满了。这就是多线程的好处！安装依赖

写在前面假如我们利用python爬虫技术获取到了图片或视频的url直链，那么如何根据url来下载图片或视频。图片是小文件，大小一般在5MB以内，我们直接下载即可。视频是大文件，大小一般在100MB以上，所以建议采用分块下载的方法，避免超出内存溢出。安装依赖pip3 install requests下载图片测试样例https://img-blog.csdnimg.cn/20200924162143340.jpg源码发布import requestsurl = 'https://img-