Kang Hao‘s Blog

下列是有关PhantomJS的学习网站：PhantomJS官方地址：http://phantomjs.org/PhantomJS官方API：http://phantomjs.org/api/PhantomJS官方示例：http://phantomjs.org/examples/PhantomJSGitHub：https://github.com/ariya/phantomjs/中文：h...

一、基础知识篇：HttpHeader之User-AgentUserAgent中文名为用户代理，是Http协议中的一部分，属于头域的组成部分，UserAgent也简称UA。它是一个特殊字符串头，是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识。通过这个标识，用户所访问的网站可以显示不同的排版从而为用户提供更好的体验或者进行信息统计；例如用手机访问谷歌和电脑...

在使用手机进行App爬取时，要拦截https请求时，需要进行证书设置。而mitmproxy在使用pip命令安装该模块后，会在你的用户目录下出现.mitmproxy目录，里面就包含了一套CA证书，如下：使用vivo手机安装证书时，在设置==》安全 ==》从手机存储安装 ，会出现未找到证书文件问题。如下图：下面是解决方法：在安装证书时，有如下两种办法：1.通过qq或者通过USB直接发送证书至...