之前我的朋友接到了一个爬虫私活,佣金一顿晚餐。任务的困难在于没有网页版的,没法用常见的八爪鱼之类的爬取,但是承诺了的事情就要办到,于是我们一起研究这个问题。
遇到的问题
- 没有网页版的有app版本的
于是电脑上安装夜深模拟器,使用抓包工具来爬 - 抓包工具都用上了,发现https通信的
想办法获取证书,然后似乎问题解决了 - 发现所有的报文找不到要爬的内容,非常诡异
换了好几个抓包工具,都不行,于是猜测经过了特殊处理,反爬等级较高 - 上述都不行,于是想造轮子,自动识别图像
想法是:安卓开发工具ADB来操作app,包括点击滚动屏幕,截图,然后用图像识别技术来识别可见的文字
于是去谷歌搜了一下这个方案,竟然已经有人做了,震惊!!!!
有个工具叫做: Airtest,给予它可以完成上述开发,并且还可以实现别的骚操作[/斜眼笑]
https://www.kingname.info/2019/01/19/use-airtest/