有时候用scrapy爬虫的时候会遇到请求某些url的时候发生异常的情况(多半是因为代理ip抽风了),这时候就可以设置一下retry让它自动重试,很简单。
settings中间件设置
看了下官网

那么很方便的,我们也可以在settings里这么写
DOWNLOADER_MIDDLEWARES = {
'rent.middlewares.ProxyMiddleWare': 700,
'scrapy.downloadermiddlewares.retry.RetryMiddleware': 550,
}
其中第一个是我自己定义的代理ip的中间件,像官网一样proxy中间件的优先级数字应该比retr