一淘搜索网页抓取系统的分析与实现（3）—scrapy+webkit & mysql+django

图

scrapy+webkit：

如结构图③。
scrapy不能实现对javascript的处理，所以须要webkit解决问题。开源的解决方式能够选择scrapinghub的scrapyjs或者功能更强大的splash.

关于scrapy+webkit的使用后期进行分析。

scrapy+django:

如结构图④。

django实现的配置界面主要是对抓取系统的管理和配置，包含：网站feed、页面模块抽取、报表系统的反馈等等。


请直接參考：
[1]高速构建实时抓取集群

[2]淘宝摘星

文章链接：http://blog.youkuaiyun.com/u012150179/article/details/38227079

版权声明：本文博客原创文章，博客，未经同意，不得转载。