给 Scrapy 爬虫项目设置防反爬

所有的设置都是在scrapy爬虫项目中的settings.py 文件中进行设置。

详细内容请跳转–原文链接

Step 1 . 设置爬虫不遵循 robots.txt协议

第22行：
ROBOTSTXT_OBEY = False

Step 2 . 设置取消Cookies

第36行：
COOKIES_ENABLED = False

Step 3 . 设置用户代理值（USER_AGENT）

第19行：
USER_AGENT = 'Mozilla/xxx (Windows xxx; Winxx; xxx) AppleWebKit/xxx (KHTML, like Gecko) Chrome/xxxx Safari/xxx'