Karmenzind

爬虫repo地址：https://github.com/Karmenzind/EasyGoSpider此处需求为： 返回json中带有{"code": 0}时，将此请求加入重试队列 假如json中含有cookie被禁信息，对cookie列表进行修正 源码注释中有一句： Failed pages are collected on the scraping process and reschedul

图片瞎放一个先（doge 前段时间在写爬虫，研究了一下Github排名靠前的免费代理池，都不太喜欢，就自己写了一个，结合了异步框架Tornado和Scrapy，目前支持的特性有： 设定数目，持续从网上爬取新的免费代理，检测可用后存入本地数据库 完全异步，支持高并发（从免费的前提下去衡量……） 通过调用HTTP API来获取代理，后面有时间会增加前端控制页面 周期性自检，更新可用代理 ...