scrapy 爬虫报错 Forbidden by robots.txt
使用户scrapy.spider爬取网站的时候,遇到了Forbidden by robots.txt报错,robots.txt是网站爬取的规范协议,很多地方写需要将setting中的robotsbox_obey设置为False,但是这样做是有风险的,我这次报错主要是因为使用了两个月之前的代码再次爬取的时候没有更新cookie,只要更新一下就好了...
原创
2020-10-14 09:26:03 ·
559 阅读 ·
0 评论