学习网络爬虫

爬虫的架构

通用爬虫的架构如图所示

                             

该通用爬虫框架的流程：

       1.首先选取一些网页，将这些网页的链接地址作为种子URL；

       2.将这些种子URL放入到待抓取URL队列中；

        3.爬虫从待抓取URL队列（队列先进先出）中依次读取URL，并通过DNS解析URL，把链接地址转换为网站服务器所对应的IP地址；

        4.将IP地址和网页相对路径名称交给网页下载器，网页下载器负责页面内容的下载；

        5.网页下载器将相应的网页的内容下载到本地；

        6.将下载到本地的网页存储到页面库中，等待建立索引等后续处理；于此同时将下载过网页的URL放入到已抓去URL队列中，这个队列记载了爬虫系统已经下载过的网页URL，以避免网页的重复抓取；

        7.对于刚刚下载的网页，从中抽取出所包含的所有链接信息，并在已抓取URL中检查其是否被抓取过，如果还未被抓取过，则将这个URL放入到待抓取URL队列中；

        8，9. 下载被放入待抓取URL队列中的URL对应的网页，如此重复3-7，形成循环，直到待抓取URL队列为空。