python笔记13-多线程实战篇（tomorrow）

最新推荐文章于 2024-11-21 09:34:20 发布

转载最新推荐文章于 2024-11-21 09:34:20 发布 · 225 阅读

文章标签：

#python

本文介绍了一种利用Python库Tomorrow简化多线程操作的方法，通过对比单线程与多线程环境下爬取图片的效率，展示了如何仅通过一行装饰器代码实现性能的显著提升。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

安装

1.tomorrow安装，用pip可以直接安装

pip install tomorrow

单线程

1。以下案例是单线程时候跑的情况，在下载图片的时候很耗时。

# coding:utf-8
from bs4 import BeautifulSoup
import requests
import os
import time

# 当前脚本所在的目录
cur_path = os.path.dirname(os.path.realpath(__file__))


def get_img_urls():
    r = requests.get("http://699pic.com/sousuo-218808-13-1.html")
    fengjing = r.content
    soup = BeautifulSoup(fengjing, "html.parser")
    # 找出所有的标签
    images = soup.find_all(class_="lazy")
    return images

def save_img(imgUrl):
    try:
        jpg_rl = imgUrl["data-original"]
        title = imgUrl["title"]
        # print(title)
        # print(jpg_rl)
        # print("")
        # 判断是否有jpg文件夹，不存在创建一个
        save_file = os.path.join(cur_path, "jpg")
        if not os.path.exists(save_file): os.makedirs(save_file)

        with open(os.path.join(save_file, title+'.jpg'), "wb") as f:
            f.write(requests.get(jpg_rl).content)
    except:
        pass

if __name__ == "__main__":
    t1 = time.time()

    image_ulrs = get_img_urls()
    for i in image_ulrs:
        save_img(i)

    t2 = time.time()
    print("总耗时：%.2f 秒"%(t2-t1))

运行结果：

耗时：4.27 秒

使用多线程tomorrow

1.一行代码搞定多线程，在函数上加个@threads(5)，括号里面代码线程的数量，数字越大，运行的速度越快

# coding:utf-8
from bs4 import BeautifulSoup
import requests
import os
import time
from tomorrow import threads

# 当前脚本所在的目录
cur_path = os.path.dirname(os.path.realpath(__file__))


def get_img_urls():
    r = requests.get("http://699pic.com/sousuo-218808-13-1.html")
    fengjing = r.content
    soup = BeautifulSoup(fengjing, "html.parser")
    # 找出所有的标签
    images = soup.find_all(class_="lazy")
    return images

@threads(5)
def save_img(imgUrl):
    try:
        jpg_rl = imgUrl["data-original"]
        title = imgUrl["title"]
        # print(title)
        # print(jpg_rl)
        # print("")
        # 判断是否有jpg文件夹，不存在创建一个
        save_file = os.path.join(cur_path, "jpg")
        if not os.path.exists(save_file): os.makedirs(save_file)

        with open(os.path.join(save_file, title+'.jpg'), "wb") as f:
            f.write(requests.get(jpg_rl).content)
    except:
        pass

if __name__ == "__main__":
    t1 = time.time()


    image_ulrs = get_img_urls()
    for i in image_ulrs:
        save_img(i)

    t2 = time.time()
    print("总耗时：%.2f 秒"%(t2-t1))

运行结果：