【网络爬虫-----爬虫的分类及原理 - 优快云 App】

【网络爬虫-----爬虫的分类及原理 - 优快云 App】http://t.csdnimg.cn/pzniM

一.网络爬虫概述
  网络爬虫可以按照指定的规则（网络爬虫的算法，编写的程序）自动抓取网络中的信息。大多主流语言都可以都可以进行网络爬虫，python相比较其他语言更加便捷、第三方库更加丰富。所以大多数爬虫任务都是用python完成的。

二.网络爬虫的分类
  网络爬虫根据实现的技术和结构可以分为以下四类：通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫。

1.通用网络爬虫
  通用网络爬虫又叫全网爬虫，主要由URL集合、URL队列、页面爬行模块、页面分析模块、页面数据库、链接过滤模块等模块构成。主要为大型搜索引擎，大型服务商等采集数据。
  通俗来说就是抓取互联网上的所有数据。由于通用网络爬虫的爬行范围和爬取数据量十分巨大，对于爬取速度和存储空间要求较高，所以通常采用并行工作方式。

2.聚焦网络爬虫
  聚焦网络爬虫又叫主题网络爬虫，爬取指定网页信息的一种爬虫。由于目的性更加明确，范围更加小，所以爬取速度快，大幅节约硬件和网络资源。

3.增量式网络爬虫
  所谓增量式，就是增量式更新。意思是在需要的时候只爬取网页更新的部分，没有发生变化的部分不进行重复爬取。这样可以有效地减少数据下载量，加快运行速度，减小时间空间上的耗费，但是算法上的难度会相应增加。

深层网络爬虫
   深层网络爬虫又称Deep Web爬虫。Web页面按照存在方式分为表层网页（Surface Web）和深层网页（Deep Web），表层网页是直接通过静态链接可直接访问的静态页面。深层网页则是隐藏在搜索表单后面的页面。
   深层网络爬虫主要由六个基本功能模块（**爬行控制器、解析器、表单分析器、表单处理器、响应分析器、响应分析器、LVS控制器）**和两个爬虫内部数据结构（URL列表、LVS表）等部分构成。LVS表示标签/数值集合，用来表示填充表单的数据源。

三.网络爬虫的基本原理
工作流程如下：
1.先获取初始的URL，该URL是用户自己定制的爬取的网页。
2.再爬取初始URL的同时获取新的URL地址。
3.将新的URL地址放入URL队列。
4.从URL队列中读取新的URL，根据新的URL爬取网页，同时继续获取新的URL地址，重复上述的爬取过程。
5.设置停止条件，爬虫会在满足停止条件时停止爬取。如果未设置停止条件，直到无法获取新的URL为止。
————————————————
版权声明：本文为优快云博主「ถ๖ุุุุุุู」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.youkuaiyun.com/qq_51431768/article/details/116071023