scrapy-settings

最新推荐文章于 2025-05-01 01:00:53 发布

转载最新推荐文章于 2025-05-01 01:00:53 发布 · 274 阅读

python爬虫专栏收录该内容

39 篇文章

订阅专栏

项目名称
BOT_NAME = ''

爬虫存储的文件路径
SPIDER_MODULES = ['']

创建爬虫文件的模板，创建好的爬虫文件会存放在这个目录下
NEWSPIDER_MODULE = ''

设置ua，模拟浏览器请求
USER_AGENT = ''

设置是否需要遵守robot协议：默认为True
ROBOTSTXT_OBEY = True/False

设置请求的最大并发数据(下载器),默认16个
CONCURRENT_REQUESTS = int

设置请求的下载延时，默认为0
DOWNLOAD_DELAY = int

设置网站的最大并发请求数量，默认是8
CONCURRENT_REQUESTS_PER_DOMAIN = int

设置某个IP的最大并发请求数量，默认是0
CONCURRENT_REQUESTS_PER_IP = int
如果非0，
CONCURRENT_REQUESTS_PER_DOMAIN不生效，这时候请求的并发数量将针对于IP，而不是网站了
设置的DOWNLOAD_DELAY就是针对于ip而不是网站了

是否携带cookie，默认为True
COOKIES_ENABLED = True/False

跟踪cookies,默认情况下是False
COOKIES_DEBUG = True

是一个终端的扩展插件，
TELNETCONSOLE_ENABLED = True/False

设置默认请求头
DEFAULT_REQUEST_HEADERS = {}

设置和激活爬虫中间件
SPIDER_MIDDLEWARES = {}

设置和激活下载中间件
DOWNLOADER_MIDDLEWARES = {}

设置扩展
EXTENSIONS = {}

设置和激活管道文件，后面的数字表示优先级
ITEM_PIPELINES = {}

默认情况下自动限速的扩展是关闭的：AUTOTHROTTLE_ENABLED = False
AUTOTHROTTLE_ENABLED = True/False
初始的下载延时默认是4秒
AUTOTHROTTLE_START_DELAY = int
最大下载延时
AUTOTHROTTLE_MAX_DELAY = int
针对于网站的最大的并行请求数量
AUTOTHROTTLE_TARGET_CONCURRENCY = int
调试模式，默认为True
AUTOTHROTTLE_DEBUG = True/False

设置数据的缓存，默认情况下是未开启的
AUTOTHROTTLE_DEBUG = True/Flase
设置缓存的超时时间，默认为0为永远有效
HTTPCACHE_EXPIRATION_SECS = 0
设置缓存的存储文件路径
HTTPCACHE_DIR = 'httpcache'
忽略某些状态码的请求结果（Response）
HTTPCACHE_IGNORE_HTTP_CODES = []
开启缓存的扩展插件
HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'

设置日志信息
LOG_FILE = 'xcf.log'
LOG_LEVEL = 'INFO'

作者：渡舟_清酒
链接：https://www.jianshu.com/p/0a762bc5c145
来源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。