爬虫—生产者模式、消费者模式、多线程、队列应用综合案例

本文以汽车之家几款车型图片爬取下载为例:

一、分析准备:

        1.导入网页请求模块: requests

        2.导入解析模块:from lxml import etree

        3.导入线程模块:import threading

        4. 导入队列模块:from queue import Queue;用于多个线程之间共享数据

        5.导入网页请求、下载模块:from urllib import request

        6.文件写入模块:os

        7.定义一个自己的线程类

        8.定义一个生产者类,用于封装获取想要下载内容的方法

        9.定义一个消费者类,用于封装下载图片方法

二、源码展示如下:

import requests             # 导入网页请求模块
from lxml import etree      # 导入解析模块
import threading            # 导入线程模块
from queue import Queue     # 导入队列模块
import time
from urllib import request  #
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值