按照 实现的技术和结构 可以分为 :
通用网络爬虫:爬取目标数据巨大,范围巨大,海量数据,性能要求非常高。
聚焦网络爬虫:有选择的爬取,可节省宽带资源和服务器资源。
增量式网络爬虫:只爬取内容发生变化的网页,或者新产生的网页。
深层网络爬虫 :爬取深层网页。隐藏在表单后面,不能通过静态链接直接获取的网页。
等...
按照 实现的技术和结构 可以分为 :
通用网络爬虫:爬取目标数据巨大,范围巨大,海量数据,性能要求非常高。
聚焦网络爬虫:有选择的爬取,可节省宽带资源和服务器资源。
增量式网络爬虫:只爬取内容发生变化的网页,或者新产生的网页。
深层网络爬虫 :爬取深层网页。隐藏在表单后面,不能通过静态链接直接获取的网页。
等...