【python爬虫】在scrapy中利用代理IP(爬取BOSS直聘网)
同学们好,我又滚回来更新了,这一次我们要爬取的目标是BOSS直聘,BOSS直聘可以说是反爬虫一个很好的例子了,主要在于如果你访问他的次数过多,他就会出现验证码,要求你通过验证才能继续看,这样还算可以,但是如果你之后还继续访问过多,那么就会出现以下画面直接连填写验证码的机会都没有,就是不给你看,这么做可以说是很霸气了,不过对方有招,我们也是不差的,既然对方来封我们的IP了,那么我们就不用这个IP...
原创
2018-12-13 21:22:43 ·
8278 阅读 ·
3 评论