前言
(来csdn做备份,某客园的审核机制太蛋疼...)
废话不多说,直接干,再来猿人学19题
分析
看了下,没有加密参数:
然后拿着接口直接请求:
有结果的,不会吧,这么简单?没有加密参数?这次这么草率?
用代码访问,唉,卧槽,就是他妈的不行,果然有猫腻
换requests:
确实不行,
用postman看看,可以的
这他妈就很秀啊,上一次这种感觉还是http2.0的时候,但是上面我已经用了httpx了啊,也不行,说明就不是http2.0了。
这种无力感,接着又想到上次验证请求头,把请求头写死看看:
果然也不是,那肯定,相同的反爬策略应该不会再考一次,
好骚啊,就是无法正常返回结果,那他肯定验证了某个东西,怎么办,再看下,用curl呢:
也不行,我直接在浏览器的编辑脚本界面snippets里执行,发现可以有结果
那就只有抓包看看了,当我打开charles抓包时,有这个提示:
然后看抓包软件拿到的东西,这个问题,在抓包软件里终于复现了
那就看下到底它检测了什么东西,能够识别抓包工具和爬虫脚本了
后续我接着研究,发现这个网站好像针对性的对mac端做了检测,因为我windows端开抓包工具是可以抓到的:
charles:
fiddler:
然后,我来了个神操作,这他妈出来了,好骚啊
同时,上面的操作,我是开着fiddler可以的,把fiddler一关再请求,又不行了: