Harlan的博客

前言： 今天无意中看到一个网站，也是那种图片站，但是当我要分析的时候发现网站居然有好几处的反调试，还是比较好玩的。进入正题：网站：https://www.vmgirls.com/1.无法右键当按下f12的时候 没有出现开发者工具，说明有js对这段代码进行操作。 这个时候可以选择点击菜单->更多工具->开发者工具2.在console中会出现很多log像下面这样的图 会出现很多。破解方法： 1）找到那段代码干掉，但...

前面所有的准备工作基本做完了，这篇帖子的主要目的是代码的编写，已经编写的流程分析等下面是前面整理的数据： 进入用户空间获得视频的aid https://api.bilibili.com/x/space/arc/search?mid=149040332&pn=1&ps=25&jsonp=jsonp 通过aid请求pagelist 获得视频列表信息https://api.bilibili.com/x/player/pagelist?aid=883949473&a.

前面已经分析了b站得视频下载所用到得数据这篇主要是说下载相关得操作。这里是用得是开源下载工具aria2之所以用这个下载工具来下载之因为 这个工具可以跟任何语言进行交互实现下载一.下载aria2下载地址：https://github.com/aria2/aria2/releases二.开启rpc服务这里语言和aria2交互主要是通过aria2开启rpc服务来实现的官方参考文档：https://aria2.github.io/manual/en/html/aria2c..

我这里使用的方法 比较简单 用神奇fiddler即可。这些分两篇 第一篇定位音乐然后手动操作保存 第二篇自动下载首先本篇下载的最近很火的一首歌叫 《 你的酒馆对我打了烊 》 这个音乐在qq音乐客户端上提示版权不允许下载，但是他可以播放，既然他可以播放 那么他肯定是需要缓存的。那么就可以下载，只是直接点击他的那个下载按钮不给下载而已。具体为什么可以自己去百度上搜一下原因。 因为爬...

通过python 来爬取网站内所有的图片到本地第三篇是动态获取参数构造图片地址实现下载图片 传送门：https://blog.youkuaiyun.com/qq_33958297/article/details/82316019这篇文章的目的是因为上一个文章里的地址已经无法访问了考虑到可能有的新手没有办法去实验，这里又出了一个新的。但是和那个网站的实现方式略微不同。前面大致是一...

Python爬虫实战之爬取网站全部图片(二) 传送门：https://blog.youkuaiyun.com/qq_33958297/article/details/89388556爬取网址: http://www.meizitu.com/a/more_1.html爬取地址:https://www.meizitu.com/a/list_1_1.html一.获得图片地址 和 图片名称...

StringIO经常被用来作字符串的缓存，因为StringIO的一些接口和文件操作是一致的，也就是说同样的代码，可以同时当成文件操作或者StringIO操作。 一、StringIO中的常用方法1、read用法：s.read([n])：参数n用于限定读取的长度，类型为int，默认为从当前位置读取对象s中所有的数据。读取结束后，位置被移动。 2、readline用法：...

在python中，一般可以使用pickle类来进行python对象的序列化，而cPickle提供了一个更快速简单的接口，如python文档所说的：“cPickle – A faster pickle”。cPickle可以对任意一种类型的python对象进行序列化操作，比如list，dict，甚至是一个类的对象等。而所谓的序列化，我的粗浅的理解就是为了能够完整的保存并能够完全可逆的恢复。在cPi...

通过几次ｐｉｐ的使用，对于默认的pip源的速度实在无法忍受，于是便搜集了一些国内的pip源，如下： 阿里云 http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 豆瓣(douban) http://pypi.douban.com/simple/ 清华大学 htt...

错误提示:SSLError: HTTPSConnectionPool(host='www.baidu.com', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLError("bad handshake: Error([('SSL routines', 'tls_process_server_certific...

@修饰符 　　‘@’符号用作函数修饰符是python2.4新增加的功能，修饰符必须出现在函数定义前一行，不允许和函数定义在同一行。也就是说＠A def f(): 是非法的。 只可以在模块或类定义层内对函数进行修饰，不允许修修饰一个类。一个修饰符就是一个函数，它将被修饰的函数做为参数，并返回修饰后的同名函数或其它可调用的东西。　　本质上讲，装饰符@类似于回调函数，把其它的函数（暂且称为目的参...

编码：就是把字符编译成十六进制解码：把十六进制编译成字符串在本文中，以'哈'来解释作示例解释所有的问题，“哈”的各种编码如下： 1. UNICODE (UTF8-16)，C854； 2． UTF-8，E59388； 3． GBK，B9FE。 一、python中的str和unicode 一直以来，python中的中文编码就是一个极为头大的问题，经常抛出编码转换的异常，py...