爬虫—生产者模式、消费者模式、多线程、队列应用综合案例

本文以汽车之家几款车型图片爬取下载为例：

一、分析准备：

        1.导入网页请求模块: requests

        2.导入解析模块:from lxml import etree

        3.导入线程模块:import threading

        4. 导入队列模块:from queue import Queue；用于多个线程之间共享数据

        5.导入网页请求、下载模块：from urllib import request

        6.文件写入模块：os

        7.定义一个自己的线程类

        8.定义一个生产者类，用于封装获取想要下载内容的方法

        9.定义一个消费者类，用于封装下载图片方法

二、源码展示如下：

import requests             # 导入网页请求模块
from lxml import etree      # 导入解析模块
import threading            # 导入线程模块
from queue import Queue     # 导入队列模块
import time
from urllib import request  #