Python爬虫-15-案例：爬取手机壁纸网址所有图片（三）

最新推荐文章于 2022-08-18 18:05:42 发布

karry_孙二

最新推荐文章于 2022-08-18 18:05:42 发布

阅读量470

点赞数

CC 4.0 BY-SA版权

分类专栏： Python爬虫

本文链接：https://blog.youkuaiyun.com/qq_39620483/article/details/90765692

本文介绍使用Python结合多线程threading模块，快速爬取手机壁纸网站所有图片的方法。通过实际运行，显著缩短了下载时间，记录了作者的学习历程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前提：

本篇结合多线程threading模块来爬取，可以大大缩短下载时间

脚本

# coding:utf-8
import os
import time
import threading
import requests
from lxml import etree

cur_path = os.path.dirname(__file__)
file_path = os.path.join(cur_path, "image")
if not os.path.exists(file_path): os.mkdir(file_path)


class LoadImage():

    def __init__(self, page_num=1, base_url="http://sj.zol.com.cn/bizhi/new_%d.html"):
        """
        :param base_url: 爬取网页的url
        :param page_num: 爬取第几页数
        """
        # 这个网站貌似没有做什么限制，不加headers也是可以的，可以直接请求，以免爬取数据有限制，这里我加上了
        self.s = requests.session()
        self.headers = {
            "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36",
            "Upgrade-Insecure-Requests": "1"
        }

        self.base_url = base_url
        self.page_num = page_num

    def load_page(self):
        url = (self.base_url