python 多线程处理

最新推荐文章于 2024-07-01 17:20:02 发布

原创最新推荐文章于 2024-07-01 17:20:02 发布 · 672 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #开发语言

python3 专栏收录该内容

23 篇文章

订阅专栏

该博客探讨了使用ThreadPoolExecutor进行并行任务处理，通过tqdm实现进度条显示。在处理过程中，对可能出现的KeyboardInterrupt和其他异常进行了捕获和处理，确保程序的稳定性和用户体验。

from concurrent.futures import ThreadPoolExecutor, as_completed
from tqdm import tqdm

def mp_handler(job):
	vfile, args, gpu_id = job
	try:
		print(job)
	except KeyboardInterrupt:
		exit(0)
	except:
		traceback.print_exc()

p = ThreadPoolExecutor(args.ngpu)
futures = [p.submit(mp_handler, j) for j in range(3)]
_ = [r.result() for r in tqdm(as_completed(futures), total=len(futures))]