Mac OS安装开源爬虫框架pyspider

一、pyspider介绍

pyspider是百度的大神binux用Python做的一个爬虫架构的开源化实现，主要的功能需求是：

• 抓取、更新调度多站点的特定的页面
• 需要对页面进行结构化信息提取
• 灵活可扩展，稳定可监控

二、pyspider安装
1、安装pip（如果未安装）

 

sudo easy_install pip

 2、安装pyspider

 

 

pip install pyspider

 注意：安装的过程中可能会抛错：pyspider fatal error: 'libxml/xmlversion.h' file not found

 

这个只要先安装Command Line Tools 就行了

三、运行

 

pyspider

 完成之后访问http://localhost:5000