mingover的专栏

介绍与安装 scrapyd scrapyd是一个服务器，类似于nginx,tomcat,会暴露web接口 ， 我们的scrapy爬虫类似作为一个webapp部署进来,然后通过webapi进行开启关闭等操作 安装: pip install scrapyd 我们部署的前提是自己已经有一个scrapy工程了,具体可参考:https://blog.youkuaiyun.com/mingover/articl...

前言 我们采用scrapy 爬取了一些游戏数据，这里对遇到的一些技术问题 的解决情况 项目情况 爬虫的逻辑是比较简单的，有一个进程从 任务队列中 拿到 相应的任务(一般是url),去请求，拿到html/json/…后 进行解析,解析完后自己选择做什么，比如:1,把解析后的数据存起来,2,解析后发现有想用的url,重新把这些个url当作一个任务扔到 任务队列中. 我们的爬虫任务有挺多的，如 游戏的i...