宽度优先爬虫

整个的宽度优先爬虫过程就是从一系列的种子节点开始，把这些网页中的“子节点” (也 就是超链接)提取出来，放入队列中依次进行抓取。被处理过的链接需要放入一张表(通常称 为 Visited 表)中。每次新处理一个链接之前，需要查看这个链接是否已经存在于 Visited 表 中。如果存在，证明链接已经处理过，跳过，不做处理，否则进行下一步处理。