Python ---pyspider

pyspider: 爬虫框架，基于PyQuery实现的。

优势：

1. 基于多线程异步的任务调度方式；可以实现爬虫的高并发爬取，注意使用代理;

2. 它提供了一个WebUI的爬虫任务管理界面，可以实现爬虫的停止，启动，调试，支持定时爬取任务;

3. 代码简洁;

4. 支持动态网站的爬取; requests/urllib只能爬取静态网站。phantomjs

phantomjs: 幽灵浏览器，无界面版的浏览器。

劣势：

可扩展性不强；

整体上来说：一些定制性高的，需要自定义一些功能的时候可以使用Scrapy，而一些定制性不高，不需要太多自定义功能时使用pyspider;

同步执行的.

列表页

详情页