Python3爬虫框架Scrapy:scrapy view http://www.xxx.com DEBUG: Forbidden by robots.txt:解决方案
当我们想利用scrapy view来查看requests后的网页结果并在把浏览器中渲染出来时,可以:scrapy view http://www.baidu.com
可能遇到以下问题:
DEBUG: Forbidden by robots.txt: <GET http://www.baidu.com>
即Scrapy在requests时会查看目标网站的robots.txt,判断是否允许...
原创
2019-05-29 16:42:14 ·
1448 阅读 ·
0 评论