Python中进程关于非堵塞的含义举例

本文深入探讨了Python中进程池的非阻塞与阻塞特性,通过具体实例对比了两者的工作方式,阐述了非阻塞模式下如何利用回调函数收集任务结果,以及进程池的正确关闭和等待子进程完成的方法。

#!/usr/bin/env python3

-- coding: utf-8 -

**

‘’'Python中进程关于非堵塞的含义举例

List item

**

1*非阻塞:*全部添加到队列中,;立即返回,如果一个进程做完了就再添加一个,并没有与等待其他的进程完毕,但是回调函数是等待所有的任务完成之后才调用

2阻塞:(没有体现进程的优点),添加一个执行一个,如果一个任务不结束则另一个任务就进不来
3 进程池:

pool =Pool(max)
poo.apply_async()  #非阻塞的
pool.apply()  #阻塞的
(2):
pool.close    #进程池添加完毕,之后需要写的一个东西
pool.jion()    #如果要进行子进程需要写的一个,如果不行,就只能进行主进程,不能进行子进程

让主进程让步,为子进程可以执行,(相当于插队,让子进程先做,然后主进程再做)

‘’’
‘’’
1首先是非阻塞(举例)
‘’’

from random import random
import os
from multiprocessing import Process
from multiprocessing import Pool
import time
def task(task_name):
    print('开始做任务,',task_name)
    start = time.time()
    #使用sleep
    time.sleep(random() * 2)
    end =time.time()
    #os.getpid(),用来显示出分配当前进程的数字序号
    return '完成任务{},用时是{},进程序号是{}'.format(task_name,(end - start),os.getpid())
container =[]
#定义一个回调函数:
def callback_back(n):
    container.append(n)


if __name__ =='__main__':
    pool = Pool(4)
    plan = ['学习','睡觉','做饭','玩游戏','看电视','吃饭']
    for i in plan:
        pool.apply_async(task,args=(i,),callback=callback_back)


    pool.close() #添加任务结束
    pool.join()  #在主进程中插队,使得可以进行子进程

    for i in container:
        print(i)
    print('结束')
### 回答1: 在 Python 中使用线程池可以使用 `concurrent.futures` 模块中的 `ThreadPoolExecutor` 类来实现。 下面是一个简单的使用线程池运行并行任务的示例: ```python from concurrent.futures import ThreadPoolExecutor import time def some_task(): print('Start task') time.sleep(2) print('Finish task') executor = ThreadPoolExecutor(max_workers=3) for _ in range(5): executor.submit(some_task) ``` 这段代码中我们创建了一个线程池,线程池大小为3. 然后向线程池中提交了5个任务。这些任务会在3个线程中同时运行,每个线程中运行一个任务. 另外还有一种是使用 ProcessPoolExecutor来实现进程池。 ```python from concurrent.futures import ProcessPoolExecutor with ProcessPoolExecutor() as executor: executor.submit(func1, arg1) executor.submit(func2, arg2) executor.submit(func3, arg3) ``` 上面这段代码创建了一个默认大小的进程池,然后让它执行函数 func1, func2, func3. 希望这能帮到您。 ### 回答2: 在Python中,我们可以通过使用`concurrent.futures`模块来实现线程池。`concurrent.futures`提供了`ThreadPoolExecutor`类来创建线程池。以下是具体的步骤和示例代码: 1. 导入`concurrent.futures`模块: ```python import concurrent.futures ``` 2. 创建一个`ThreadPoolExecutor`对象来管理线程池。可以选择设置最大线程数(可选): ```python with concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor: ``` 3. 使用`submit()`方法将待执行的函数提交给线程池。`submit()`方法会返回一个`Future`对象,可以用来获取结果或检查任务的状态。 ```python future = executor.submit(my_function, arg1, arg2) ``` 4. 可以使用`map()`方法同时提交多个任务,并获取它们的返回值。 ```python results = executor.map(my_function, [arg1, arg2, arg3]) ``` 5. 如果需要获取任务的返回值,在之前创建的`Future`对象上调用`result()`方法即可。注意,`result()`方法会阻塞,直到任务完成并返回结果。 ```python result = future.result() ``` 下面是一个完整的示例代码,其中使用线程池并发执行三个任务: ```python import concurrent.futures def task(n): print(f"Task {n} started") result = n**2 print(f"Task {n} finished") return result with concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor: futures = [executor.submit(task, i) for i in range(1, 4)] results = [future.result() for future in concurrent.futures.as_completed(futures)] print(results) ``` 在以上示例中,三个任务被并发执行,并通过线程池返回结果。任务的执行顺序可能不同,但最终输出的结果应该是`[1, 4, 9]`。 ### 回答3: Python中实现线程池的方法有很多种,下面我将详细举例两种常见的方式: 1. 使用`concurrent.futures`模块中的`ThreadPoolExecutor`类: ```python from concurrent.futures import ThreadPoolExecutor # 创建线程池 pool = ThreadPoolExecutor(max_workers=5) # 最大线程数为5 # 提交任务给线程池执行 result = pool.submit(func, arg1, arg2) # 提交一个func函数,带有arg1和arg2参数 # 获取任务的结果 print(result.result()) # 阻塞等待任务执行完毕并获取结果 # 关闭线程池 pool.shutdown() ``` 2. 使用`multiprocessing.dummy`模块中的`ThreadPool`类: ```python from multiprocessing.dummy import ThreadPool # 创建线程池 pool = ThreadPool(5) # 最大线程数为5 # 提交任务给线程池执行 result = pool.apply_async(func, (arg1, arg2)) # 提交一个func函数,带有arg1和arg2参数 # 获取任务的结果 print(result.get()) # 阻塞等待任务执行完毕并获取结果 # 关闭线程池 pool.close() pool.join() ``` 以上两种方法中,都可以通过创建线程池对象来管理线程的运行,通过提交任务给线程池执行来实现并发执行任务。`ThreadPoolExecutor`和`ThreadPool`类都有相同的用法,可以根据实际需求选择适合的线程池类来使用。这些线程池类提供了方便的方法来控制线程的最大数量,并可轻松地获得任务的结果。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值