部分页面抓不到
有人发现携程的部分数据抓不到,不知道什么原因,但有一点可以知道。
浏览器发出的请求和phantomjs还是有很多不一样的地方。我相信web服务器要是原因,是完全可以判断出来是不否爬虫请求,当人这也是一种对抗。如果phantomjs模拟的和一般浏览器没差别的话又是另外一种肯呢个。
有人发现携程的部分数据抓不到,不知道什么原因,但有一点可以知道。
浏览器发出的请求和phantomjs还是有很多不一样的地方。我相信web服务器要是原因,是完全可以判断出来是不否爬虫请求,当人这也是一种对抗。如果phantomjs模拟的和一般浏览器没差别的话又是另外一种肯呢个。