爬虫系列（四）--全站爬取

爬虫系列（四）--全站爬取

全站爬取需要的数据基于一个这样的假设：某网站的页面上存在该网站其他页面的连接，通过这些连接跳转的新的页面进行数据的爬取。在开始这个之前，要先明白栈和队列。本篇中介绍的是单线程的实现方式，大规模的爬取需要多线程，分布式爬取。

---

1.实现步骤

（1）准备几个起始链接加入待队列Q中，例如Q=["http://www.xxx.com/aaa/","http://www.xxx.com/bbb/","http://www.xxx.com/ccc/"]

（2）并将这几个链接加入一个入队集合S中,S={"http://www.xxx.com/aaa/","http://www.xxx.com/bbb/","http://www.xxx.com/ccc/"}这个集合作用是保证一个网页只爬取一次。

（3）从Q中取出一个链接url（出队，取出队首元素，并从队列中删除该元素），如果Q中没有链接，结束爬取。如果有链接url="http://www.xxx.com/aaa/"，进行（4）步骤。

（4）对url爬取，保存需要的数据（写到文件中，建议使用json格式保存，一行一个页面），找出该页面上的所有链接urls

（5）把符合我们要求的连接（例如以http://www.xxx.com 开头的链接）找出来，判断每一个连接urli是否在S中。如果不在S中，把urli加入S，urli入队

（6）继续执行（3）步骤

注意1：这个是广度优先爬取，如果把队换成栈，会变成深度优先爬取。如果没有特殊的需求，一般都是使用广度优先爬取。

注意2：对于一个小网站来说，这样操作没有什么问题，但是有些网站页面很多，Q和S中存储的连接太多直接撑爆内存，这时可以实现一个硬盘队列（栈）和硬盘集合，本系列文章不实现这些功能。

注意3：有些网站的连接到站内的url形如"/aaa?a=1&b=2",需要改写成"http://域名/aaa?a=1&b=2"