广度优先遍历——爬虫的python3实现

最新推荐文章于 2023-02-12 18:30:58 发布

Ginkgo__

最新推荐文章于 2023-02-12 18:30:58 发布

阅读量2.4k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/weixin_42135399/article/details/83536434

本文介绍如何使用Python3进行广度优先遍历来实现网页爬虫。在jupyter notebook环境下，从起始页https://www.cnblogs.com/goodhacker/p/3353146.html出发，目标网址为http://book.51cto.com/art/201012/236668.htm。在从Python2到Python3的转换过程中，遇到了函数变化的问题，通过查阅Python官方文档得以解决。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考：https://www.cnblogs.com/goodhacker/p/3353146.html

采用广度优先搜索，使用python3语言进行网页爬虫

实验工具：jupyter notebook

起始页网址：https://www.cnblogs.com/goodhacker/p/3353146.html

目标网址：http://book.51cto.com/art/201012/236668.htm

源代码：

#encoding=utf-8
from bs4 import BeautifulSoup
import socket 
import urllib.request as request
import zlib 
import re
      
class MyCrawler:  
    def __init__(self,seeds):  
            #使用种子初始化url队列  
            self.linkQuence=linkQuence()  
            if isinstance(seeds,str):  
                self.linkQuence.addUnvisitedUrl(seeds)  
            if isinstance(seeds,list):  
                for i in seeds:  
                    self.linkQuence.addUnvisitedUrl(i)  
            print("Add the seeds url \"%s\" to the unvisited ur