jylihh的博客

原创 scrapy设置动态User-Agent扩展知识

想想大家也清楚，一个爬虫最基础的防反扒机制是动态设置User-Agent(以下简称UA)，在scrapy中有几个与随机User-Agent相关的设置，我今天来跟大家交流交流这几个方面。 在setting.py内的简单设置有ROBOTSTXT_USER_AGENT、USER_AGENT、DEFAULT_REQUEST_HEADERS，以下是它们的默认值 ROBOTSTXT_USER_AGENT=None 官方文档原话： The user agent string to use