python 阻塞队列

最新推荐文章于 2023-05-09 16:09:50 发布

相交的直线

最新推荐文章于 2023-05-09 16:09:50 发布

阅读量632

点赞数

分类专栏： python 分布式文章标签： python

本文链接：https://blog.youkuaiyun.com/u013255226/article/details/118443206

版权

python 同时被 2 个专栏收录

8 篇文章

订阅专栏

分布式

7 篇文章

订阅专栏

这是一个Python实现的工作管理器类，使用了线程和队列进行任务调度。工作管理器可以创建指定数量的线程，将任务添加到队列中，线程从队列中异步取出任务并执行。示例中展示了如何添加任务和等待所有任务完成。适用于并发执行大量轻量级任务的场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# !/usr/bin/env python
# -*- coding:utf-8 -*-
import Queue
import threading
import time


class WorkManager(object):

    def __init__(self, queue_num=1000,thread_num=2):
        self.work_queue = Queue.Queue(queue_num)
        self.threads = []
        # self.init_work_queue(work_num)
        self.init_thread_pool(thread_num)
    """
    初始化线程
    """
    def init_thread_pool(self,thread_num):
        for i in range(thread_num):
            self.threads.append(Work(self.work_queue))
    """
    初始化工作队列
    """
    def init_work_queue(self, jobs_num):
        for i in range(jobs_num):
            self.add_job(do_job, i)
    """
    添加一项工作入队
    """
    def add_job(self, func, *args):

        self.work_queue.put((func, args))#任务入队，Queue内部实现了同步机制
        # if self.work_queue.join()
    """
    等待所有线程运行完毕
    """
    def wait_allcomplete(self):
        for item in self.threads:
            if item.isAlive():
                item.join()
            else:
                item.join()


class Work(threading.Thread):
    def __init__(self, work_queue):
        threading.Thread.__init__(self)
        self.work_queue = work_queue
        self.start()

    def run(self):
        #死循环，从而让创建的线程在一定条件下关闭退出
        while True:
            try:
                do, args = self.work_queue.get(block=True)#任务异步出队，Queue内部实现了同步机制
                do(args)
                self.work_queue.task_done()#通知系统任务完成
            except:
                break

#具体要做的任务
def do_job(args):
    time.sleep(0.1)#模拟处理时间
    print threading.current_thread(), list(args)


if __name__ == '__main__':
    start = time.time()
    work_manager =  WorkManager(10, 2)#或者work_manager =  WorkManager(10000, 20)
    work_manager.add_job(do_job, 12)
    # work_manager.wait_allcomplete()
    for i in range(20):
        work_manager.add_job(do_job, i)
    end = time.time()
    print "cost all time: %s" % (end-start)

参考

https://www.cnblogs.com/leozhanggg/p/10316974.html

https://blog.youkuaiyun.com/weixin_29288313/article/details/114426128