对scrapy最大并发request的测试记录

首先是默认允许同时存在16个Request，设置了时延为0.1s，并设置随机时延

CONCURRENT_REQUESTS = 16
DOWNLOAD_DELAY = 0.1
RANDOMIZE_DOWNLOAD_DELAY=True

爬取7500个html页面花费约20分钟

取消时延，设置最大并发Request为32

CONCURRENT_REQUESTS = 32

爬取7500个页面花费约17分钟

设置为100

CONCURRENT_REQUESTS = 100

爬取7500个页面花费约17分钟

从结果来看，对于我的设备，设置最大并发Request为100对性能没有提升。