本文以汽车之家几款车型图片爬取下载为例:
一、分析准备:
1.导入网页请求模块: requests
2.导入解析模块:from lxml import etree
3.导入线程模块:import threading
4. 导入队列模块:from queue import Queue;用于多个线程之间共享数据
5.导入网页请求、下载模块:from urllib import request
6.文件写入模块:os
7.定义一个自己的线程类
8.定义一个生产者类,用于封装获取想要下载内容的方法
9.定义一个消费者类,用于封装下载图片方法
二、源码展示如下:
import requests # 导入网页请求模块
from lxml import etree # 导入解析模块
import threading # 导入线程模块
from queue import Queue # 导入队列模块
import time
from urllib import request #