带cookie验证解决方法

示例：

不带cookie：

带cookie结果;

分析cookie：示例

无论是什么设备，第一次访问该站，都会弹出一个521的错误状态码，与此同时还会返回一个Cookie。

浏览器接受到状态码与Cookie，会再次进行一次请求，因为接收到了Set-Cookie，所以第二次的Request Headers会附上之前接收到cookie

这样的请求才是成功的。

这个防爬虫的方法非常基础，利用了普通爬虫与浏览器对于Status Code的处理方式不同。

你要爬取，只需要先请求一次，获得一个Cookie并保存，然后之后所有的请求都附上这个保存下来的Cookie，这样就行了。

爬虫的要诀在于：尽力模仿用户使用浏览器的行为。