Python线程池

suanday_sunny

已于 2022-02-07 16:56:50 修改

阅读量789

点赞数

CC 4.0 BY-SA版权

文章标签： python 网络 java

于 2022-02-07 16:22:06 首次发布

本文链接：https://blog.youkuaiyun.com/mlz_2/article/details/122809364

本文介绍了Python的线程池ThreadPoolExecutor的使用方法，通过实例展示了如何利用线程池处理并发任务，特别是在爬虫和socket通信中的应用。文章还进行了不同线程数量下的吞吐量测试，分析了线程池对性能的影响。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

官方文档 https://pythonhosted.org/futures/

python线程池 ThreadPoolExecutor 的用法及实战 https://www.jianshu.com/p/6d6e4f745c27

爬虫

PYTHON线程池及其原理和使用 https://www.cnblogs.com/xiaozi/p/6182990.html

thread_pool = ThreadPoolExecutor(max_workers=4, thread_name_prefix="socket_")

while True:
    conn, addr = the_socket.accept()     # 建立客户端连接
    conn.settimeout(6) 

    try:
        thread_pool.submit(recv_data, conn)
    except BaseException as e:
        info('ERROR', e)

thread_pool.shutdown(wait=True)

多线程接收socket吞吐量测试

>>4线程
150条， 11.5秒
200条， 12秒
250条， 13秒
300条， 18秒

>>9线程
250条， 15秒
300条， 18秒

>>7线程
250条， 15秒
300条， 18秒

python线程池（threadpool）模块使用笔记 https://www.cnblogs.com/xiaozi/p/6182990.html

这个没看，concurrent.futures就挺好