[Docker]Docker部署Scrapy-redis分布式爬虫框架实践(整合Selenium+Headless Chrome网页渲染)
前言我的京东价格监控网站需要不间断爬取京东商品页面,爬虫模块我采用了Scrapy+selenium+Headless Chrome的方式进行商品信息的采集。由于最近爬虫用的服务器到期,需要换到新服务器重新部署,所以干脆把整个模块封装入Docker,以便后续能够方便快速的进行爬虫的部署。同时,由于我的Scrapy整合了redis,能够支持分布式爬取,Docker化后也更方便进行分布式的拓展。任...
原创
2019-01-08 20:24:17 ·
2563 阅读 ·
2 评论