借助Charles分析,scrapy爬微信小程序
写在前面
最近需要用到某微信小程序上的数据,之前爬过普通的网页,对小程序的爬取,最主要的应该就是对数据包的抓取,网页端可以用浏览器轻松的实现对数据包或者网页结构的分析,对小程序而言,我们就需要工具的辅助。
对Charles的配置
Charles我只是简单的使用,直接在官网下了正式版,网上有破解教程,这里不再赘述。
在电脑端配置根证书
首先要将手机和电脑连在同一网络下,然后打开Charles,安装根证书。

在手机端配置根证书
点击如下图所示选项
会弹出手机端要配置的IP和端口号
在手机端长按连接的WiFi,弹出修改网络选项,进入页面,勾选高级选项