python3 爬虫五大模块之一：爬虫调度器

Python的爬虫框架主要可以分为以下五个部分：

爬虫调度器：用于各个模块之间的通信，可以理解为爬虫的入口与核心（main函数），爬虫的执行策略在此模块进行定义；

URL管理器：负责URL的管理，包括带爬取和已爬取的URL、已经提供相应的接口函数（类似增删改查的函数）

网页下载器：负责通过URL将网页进行下载，主要是进行相应的伪装处理模拟浏览器访问、下载网页

网页解析器：负责网页信息的解析，这里是解析方式视具体需求来确定

信息采集器：负责将解析后的信息进行存储、显示等处理

---

代码示例是爬取优快云博主下的所有文章为例，文章仅作为笔记使用，理论知识rarely

一、爬虫调度器简介

       爬虫调度器作为框架的核心组成部分和爬虫的入口，负责将各个模块进行统一管理和调度，类似于C语言里的main函数。

       爬虫调度器核心框架：

'''
自定义Python伪代码：
'''

# 1. 传入待爬取的网站URL链接
# 2. 将URL添加到URL管理器的待爬取url列表中
# 3. 执行爬行策略：
while condition:
     #4. 将待爬取的URL从URL管理器中取出，并传递给网页下载器
     #