垂直爬虫需解决的问题

2019独角兽企业重金招聘Python工程师标准>>>

主要问题集中在：

    1. 按调度周期进行调度，当需要调度的任务在 10 - 100 万级别的时候，好的调度模式非常重要；

    2. 垂直爬虫的去重因为涉及范围不是很广，可使用 MD5 对 URL 进行判重；

    3. 对爬取完的 URL 可使用 Redis 缓存来做去重，并能管理缓存，当网站规则发生变化后可通过清理相应缓存来进行再次爬取；

    4. 垂直爬虫涉及到的网站规模稍大一般在万级别，需自己实现 DNS 的缓存，不依赖于系统；

    5. 一个可视化的规则编辑界面，一个可编程的基于脚本语言的规则开发引擎，一个基于版本控制的规则管理；

    6. 大量的代理资源，需对代理资源做测试和优选，确保代理资源高质量、高效率；

    7. 监控运行过程，对每个爬虫节点进行过程监控，掌控当前爬取实况；

    8. 爬取结果放入消息队列，以便后端数据处理。后端以插件形式支持；如对数据进行分类、打标签、进行流式计算、存入各类 持久化数据库、建立索引、对接第三方系统等。

转载于:https://my.oschina.net/wellben/blog/378489