繁忙之余别忘了生活

scrapy Middleware 和 selenium 结合scrapy框架的结构图和顺序图middleware结合selenium问题描述：某些网页无法正常通过爬虫去爬取或者仅仅通过爬虫获取到的网页中信息不全，这时需要用selenium模拟浏览器返回最终渲染后的页面。遇到的困难：在新创建了一个ChromeDownloaderMiddleware，但是最终并没有完成预期(返回浏览器渲染之后的页面，然后进行爬取)，download在下载过程中遇到403，之后爬虫就结束了。代码#

scrapy报错Missing scheme in request url:XXXX养成报错去看源码的习惯报错如下图：查看源码后发现猜测是应该是第一种错误。反手一波添加http://即可