15_爬虫调度器

---

博文配套视频课程：24小时实现从零到AI人工智能

---

爬虫调度器

基本思路：把第一个地址交给URL管理器，然后立即进行判断，如果地址不为空则启动URL下载器。下载器把获取的HTML源码交给解析器。解析器把有价值的数据显示在控制台，而获取的URL网页地址重新交给URL管理器。当下载次数达到指定次数例如10次时，退出爬虫程序

# 需要导入爬虫的三大模块
from scrapy.url_manager import UrlManager  # URL管理器
from scrapy.url_downloader import down_html  # 下载器仅仅是函数
from scrapy.url_parse import HtmlParse  # 网页解析器


# 编写爬虫调度器
class Scrapy():

    def __init__(self):
        self.um = UrlManager()
        self.hp = HtmlParse()

    # 编写一个方法，启动爬虫，默认下载10页面信息
    def scrapy_html(self, root_url, count=10, encoding='UTF-8'):
        # 把启动地址交给url管理器
        self.um.add_url(root_url)
        current = 1
        # 如果当前管理器有地址,则启动爬虫操作
        while self.um.has_url():
            try:
                url = self.um.get_url()
                # url交给下载器,下载器返回Html源码
                html_str = down_html(url,enconding=encoding)
                # 把下载器下载的html源码,交给爬虫解析器
                url_set, img_set = self.hp.html_parse(url,html_str)
                # 把解析的url地址交给url管理器
                self.um.add_urls(url_set)
                # 把解析的图片信息,直接打印到控制台
                for img in img_set:
                    print(f'第{current}次下载的图片地址为:',img)
                current +=1
                if current > count:
                    break
            except:
                print(f'在下载{current}出现了异常')
        print(f'待下载的url数量为:{len(self.um.new_url)},已下载的url数量为:{len(self.um.old_url)}')

if __name__=="__main__":
    scrapy = Scrapy()
    scrapy.scrapy_html("http://www.baidu.com")