pyspider安装配置及使用

---

title: pyspider安装配置及使用
date: 2016-11-30 17:48:01
tags:

什么是 pyspider

pyspider 来源于以前做的一个垂直搜索引擎使用的爬虫后端。我们需要从200个站点（由于站点失效，不是都同时啦，同时有100+在跑吧）采集数据，并要求在5分钟内将对方网站的更新更新到库中。

所以，灵活的抓取控制是必须的。同时，由于100个站点，每天都可能会有站点失效或者改版，所以需要能够监控模板失效，以及查看抓取状态。

为了达到5分钟更新，我们使用抓取最近更新页上面的最后更新时间，以此来判断页面是否需要再次抓取。

可见，这个项目对于爬虫的监控和调度要求是非常高的。

阿里云2018双11云服务只需99.5元

1核2G内存，￥99.5/年
2核4G内存，￥545.00/1年
2核4G内存，￥927.00/2年
2核4G内存，￥1227.00/3年
2核8G内存，￥2070.00/3年

直达入口：http://t.cn/EZ14u8r

pyspider 依赖的环境

首先需要使用 python ，至于什么版本，按个人经验来说，当然是推荐 python 2.7 了！！~因为本人曾经装的时候，被 3 坑了好久，最后不得不回退 python 才安装成功。还有，就是最好使用 32 位的 python。别问我为什么~~

最新的 pyspider 依赖包中有对 pip 版本有需求的，所以需要使用如下命令行来更新 pip 版本：