一、使用抓包工具的原因:
我们在web端爬取时,一般是通过浏览器的开发者工具就可以监听到各个网络请求和响应的过程。但是如果我们想在APP端爬取数据时,我们就需要去借助抓包软件来获取我们想要的内容了。比较常用的抓包软件有:Filddler和Charles等。这两个抓包工具的原理是大致相同的,我们可以通过设置代理的方式将手机处于抓包软件的监听下。下面我就来介绍下如果进行Charles的配置。
二、Charles的配置
在进行介绍配置前,先来简单介绍下chrles的下载和破解。
charles的下载网址如下,根据自己的系统环境选择合适的版本下载安装即可。
下载:
https://www.charlesproxy.com/latest-release/download.do
因为charles不是开源的,因此需要注册,如果不注册的话每次使用的时间有限,这样是比较麻烦的。
破解流程:
在Help窗口内选择Register Charles。
输入如下数据进行注册:
Registered Name: https://zhile.io
License Key: 48891cf209c6d32bf4
(1)原理
Charles运行的时候会在8888端口开启一个HTTP/HTTPS代理服务。以爬取app为例进行说明,我们需要设置手机代理为Charles的代理地址,这样就可以使手机访问网络的数据包经过Charles,Charles再转发数据包到服务器,服务器返回数据再经过Charles转发到手机,这样的话,Charles就起到中间传递的作用,它不仅可以捕捉所有HTTP请求和响应还可以对这些请求和响应进行修改。
(2)证书配置
在完成Charles安装并且使用上面的方法进行破解注册后,要实现HTTPS抓包,是需要配置相关的SSL证书的。我以Windo