aiohttp+aiofiles异步爬虫光速下载图片

最新推荐文章于 2024-06-04 17:20:32 发布

原创

最新推荐文章于 2024-06-04 17:20:32 发布 · 1.6k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #python #aiohttp #aiofiles #壁纸图片爬虫

本文通过Python的aiohttp_requests和aiofiles库实现异步爬虫，从ZOL壁纸网站高效下载高清壁纸。首先同步与异步函数对比，然后利用aiohttp获取网页内容，通过正则表达式提取分类及图片链接，使用aiofiles异步保存图片，同时检查图片尺寸，确保达到1440x900以上分辨率。

import asyncio
import time
import traceback

from aiohttp_requests import requests  # 对aiohttp的封装版
import aiofiles  # 异步文件操作库
import random
import os
from pathlib2 import Path
from PIL import Image
import io
import re


# 同步
def fun():
    print(1)
    time.sleep(10)
    print(2)


# 异步
# 这是一个协程函数，它属于异步代码，里面的asyncio.sleep是协程函数，也属于异步代码。
async def fun1():
    print(1)
    await asyncio.sleep(10)  # 调用协程函数的时候要在前面加await
    print(2)


# aiohttp是一个异步网络请求库，而aiofiles是一个异步文件操作库。
# （aiofiles是基于线程池实现的，并不是真正的原生异步，但问题不大，不影响使用）
home_url = "http://desk.zol.com.cn"
headers1 = {
   
   
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"
}


async def get_home_url(url, headers):
    # 请求首页url，提取分类url
    response = await requests.get(url, headers=headers)
    # html_str = response.content.decode("gbk")
    html_str = await response.text()
    p1 = r'<dt>壁纸分类：</dt>.*</a>.*<dl class="filter-item clearfix">'
    kind1 = re.compile(p1, re.DOTALL)  # re.S（简写） == re.DOTALL 表示正则中的.会匹配换行符
    dd_str = kind1.findall(html_str)
    p2 = r'a href="(.*?)"'
    kind2 = re.compile(p2)
    url_str = kind2.findall(dd_str[0])
    p3 = r'target="_blank">(.*?)<'
    kind3 = re.compile(p3, )
    url_name = kind3.findall(dd_str[0])
    label_url_list = []
    for i in range(len(url_str)):
        item_list = []
        url = home_url + url_str[i]
        label_name = url_name[i]
        item_list.append(label_name)
        item_list.append(url)
        print(item_list)
        label_url_list.append((item_list))
    return label_url_list


async def get_label_url(url, headers):
    # 请求分类页面，提取下一页url和当前页面图片包url地址列表
    response = await requests.get(url, headers=headers)
    html_str = await response.text()