Python 多线程和多进程高级应用指南

Python 入门:Python 的 14 大应用 Python 是一种广泛使用的通用高级编程语言。Python 有许多应用,从 Web 开发到图像处理,甚至游戏开发。Python 有大量的库和框架来帮助完成相应的任务。Python 无疑是一种功能强大、易于使用且用途广泛的语言。它具有非常简单的类似英语的语法,并拥有庞大的优秀开发人员社区。Python 是一种通用编程语言,可用于在各个领域编写软件。python 的这些特性鼓励全球开发人员创建一些有用的库和框架,以扩展 Python 在几乎每个领域的应用。 阅读详情

Python 多线程和多进程高级应用指南

1. 多线程基础

Python 的多线程是通过 threading 模块实现的,它允许我们在同一进程内并发执行多个任务。

import threading
import time

def worker(name):
    print(f"Worker {name} started")
    time.sleep(1)
    print(f"Worker {name} completed")

# 创建线程
thread1 = threading.Thread(target=worker, args=("1",))
thread2 = threading.Thread(target=worker, args=("2",))

# 启动线程
thread1.start()
thread2.start()

# 等待线程完成
thread1.join()
thread2.join()

print("All workers completed")

2. 多进程基础

Python 的多进程是通过 multiprocessing 模块实现的,它允许我们在不同进程内并发执行多个任务。

import multiprocessing
import time

def worker(name):
    print(f"Worker {name} started")
    time.sleep(1)
    print(f"Worker {name} completed")

# 创建进程
process1 = multiprocessing.Process(target=worker, args=("1",))
process2 = multiprocessing.Process(target=worker, args=("2",))

# 启动进程
process1.start()
process2.start()

# 等待进程完成
process1.join()
process2.join()

print("All workers completed")

3. 高级多线程技巧

3.1 线程池

import concurrent.futures
import time

def worker(name):
    print(f"Worker {name} started")
    time.sleep(1)
    print(f"Worker {name} completed")
    return f"Result from worker {name}"

# 使用线程池
with concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor:
    # 提交任务
    futures = [executor.submit(worker, str(i)) for i in range(5)]
    
    # 收集结果
    for future in concurrent.futures.as_completed(futures):
        result = future.result()
        print(result)

3.2 线程同步

import threading
import time

# 创建锁
lock = threading.Lock()
shared_resource = 0

def worker(name):
    global shared_resource
    print(f"Worker {name} started")
    
    # 获取锁
    with lock:
        print(f"Worker {name} acquired lock")
        current = shared_resource
        time.sleep(0.5)
        shared_resource = current + 1
        print(f"Worker {name} updated shared resource to {shared_resource}")
    
    print(f"Worker {name} completed")

# 创建线程
threads = [threading.Thread(target=worker, args=(str(i),)) for i in range(3)]

# 启动线程
for thread in threads:
    thread.start()

# 等待线程完成
for thread in threads:
    thread.join()

print(f"Final shared resource value: {shared_resource}")

3.3 线程通信

import threading
import queue
import time

def producer(queue):
    for i in range(5):
        print(f"Producing item {i}")
        queue.put(i)
        time.sleep(0.5)


def consumer(queue):
    while True:
        item = queue.get()
        if item is None:
            break
        print(f"Consuming item {item}")
        time.sleep(1)
        queue.task_done()

# 创建队列
q = queue.Queue()

# 创建线程
producer_thread = threading.Thread(target=producer, args=(q,))
consumer_thread = threading.Thread(target=consumer, args=(q,))

# 启动线程
producer_thread.start()
consumer_thread.start()

# 等待生产者完成
producer_thread.join()

# 发送结束信号
q.put(None)

# 等待消费者完成
consumer_thread.join()

print("All tasks completed")

4. 高级多进程技巧

4.1 进程池

import concurrent.futures
import time

def worker(name):
    print(f"Worker {name} started")
    time.sleep(1)
    print(f"Worker {name} completed")
    return f"Result from worker {name}"

# 使用进程池
with concurrent.futures.ProcessPoolExecutor(max_workers=3) as executor:
    # 提交任务
    futures = [executor.submit(worker, str(i)) for i in range(5)]
    
    # 收集结果
    for future in concurrent.futures.as_completed(futures):
        result = future.result()
        print(result)

4.2 进程间通信

import multiprocessing
import time

def producer(conn):
    for i in range(5):
        print(f"Producing item {i}")
        conn.send(i)
        time.sleep(0.5)
    conn.close()

def consumer(conn):
    while True:
        try:
            item = conn.recv()
            print(f"Consuming item {item}")
            time.sleep(1)
        except EOFError:
            break

# 创建管道
parent_conn, child_conn = multiprocessing.Pipe()

# 创建进程
producer_process = multiprocessing.Process(target=producer, args=(child_conn,))
consumer_process = multiprocessing.Process(target=consumer, args=(parent_conn,))

# 启动进程
producer_process.start()
consumer_process.start()

# 等待进程完成
producer_process.join()
consumer_process.join()

print("All tasks completed")

4.3 共享内存

import multiprocessing
import time

def worker(shared_value, lock):
    print(f"Worker started")
    
    # 获取锁
    with lock:
        current = shared_value.value
        time.sleep(0.5)
        shared_value.value = current + 1
        print(f"Worker updated shared value to {shared_value.value}")
    
    print(f"Worker completed")

# 创建共享内存
shared_value = multiprocessing.Value('i', 0)
lock = multiprocessing.Lock()

# 创建进程
processes = [multiprocessing.Process(target=worker, args=(shared_value, lock)) for _ in range(3)]

# 启动进程
for process in processes:
    process.start()

# 等待进程完成
for process in processes:
    process.join()

print(f"Final shared value: {shared_value.value}")

5. 实际应用场景

5.1 网络请求

import concurrent.futures
import requests

urls = [
    "https://api.github.com",
    "https://api.example.com",
    "https://api.google.com",
    "https://api.amazon.com",
    "https://api.microsoft.com"
]

def fetch_url(url):
    print(f"Fetching {url}")
    response = requests.get(url)
    return f"{url}: {response.status_code}"

# 使用线程池
with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
    results = list(executor.map(fetch_url, urls))

for result in results:
    print(result)

5.2 数据处理

import concurrent.futures
import time

def process_data(data):
    print(f"Processing data: {data}")
    time.sleep(1)  # 模拟处理时间
    return data * 2

data = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]

# 使用进程池
with concurrent.futures.ProcessPoolExecutor(max_workers=4) as executor:
    results = list(executor.map(process_data, data))

print(f"Processed results: {results}")

5.3 并行计算

import concurrent.futures
import math

def calculate_pi(n):
    """使用蒙特卡洛方法计算 π"""
    import random
    count = 0
    for _ in range(n):
        x = random.random()
        y = random.random()
        if x*x + y*y <= 1:
            count += 1
    return 4 * count / n

# 并行计算
with concurrent.futures.ProcessPoolExecutor(max_workers=4) as executor:
    # 每个进程计算 10000000 次
    futures = [executor.submit(calculate_pi, 10000000) for _ in range(4)]
    
    # 收集结果并取平均值
    results = [future.result() for future in futures]
    pi = sum(results) / len(results)

print(f"Calculated π: {pi}")
print(f"Actual π: {math.pi}")
print(f"Error: {abs(pi - math.pi)}")

6. 最佳实践

  1. 选择合适的并发模型:对于 I/O 密集型任务,使用多线程;对于 CPU 密集型任务,使用多进程。
  2. 使用线程池/进程池:使用 ThreadPoolExecutor 或 ProcessPoolExecutor 管理线程/进程,避免频繁创建和销毁。
  3. 线程安全:对于共享资源,使用锁或其他同步机制确保线程安全。
  4. 进程间通信:对于多进程,使用管道、队列或共享内存进行通信。
  5. 异常处理:在并发任务中正确处理异常,避免任务崩溃影响其他任务。
  6. 资源管理:确保线程/进程正确关闭,避免资源泄漏。
  7. 性能监控:监控并发任务的性能,调整线程/进程数量以获得最佳性能。

7. 总结

Python 的多线程和多进程是实现并发执行的强大工具。通过掌握这些高级应用,我们可以充分利用系统资源,提高程序的性能和响应速度。

在实际应用中,多线程和多进程可以用于网络请求、数据处理、并行计算等多种场景,大大提高程序的执行效率。

希望本文对你理解和应用 Python 多线程和多进程有所帮助!

python爬虫(中)--多进程和多线程 前面我们见到了基本爬虫的请求、提取和保存,这是一个基本爬虫应该有的结构,那么这时候的这个爬虫有了能爬能存的能力,但是这种能力是很弱的,弱主要体现在三点:①爬虫本身健壮性并不高,有很多情况不一定考虑到;②爬虫爬的很慢,效率很低;③防反爬能力不强,容易被Ban掉 我们在这篇博文就会就上面第二点讲讲怎么通过运用多线程和多进程来提高爬虫的工作效率. 阅读详情

相关推荐

Python学习之旅:高级阶段(六)多线程、多进程和异步编程比较

在 Python 高级编程中,多线程、多进程和异步编程都是提升程序运行效率的重要技术。虽然它们的目的相似,但在实现方式和适用场景上却各有不同。接下来,我们就详细对比一下这三种技术。

happycell188的博客 1042

30秒掌握一些python的高级用法,让旁人羡煞不已

1.数组再分组 对一个列表根据所需要的大小进行细分: 效果如下: EXAMPLES chunk([1,2,3,4,5],2)# [[1,2],[3,4],5] return中,map的第二个参数是一个列表,map会将列表中的每一个元素用于调用第一个参数的 function 函数,返回包含每次 function 函数返回值的新列表。 2.数字转数组 同样是一则关于map的应用,将整形数字拆分到数组中: def digitize(n): return list(map.

Python_kele的博客 619

耕地质量评价软件实操指南:如何用Excel+ArcGIS一键生成土壤普查报告(附避坑技巧)

本文提供了一套融合Excel数据处理与ArcGIS空间分析的耕地质量评价实战工作流。详细讲解了从数据规范化预处理、高效数据桥接,到在ArcGIS中实现指标评分、综合指数计算与等级划分的全流程,旨在帮助土壤普查工作者大幅提升报告生成效率与准确性,并分享了关键的避坑技巧。

weixin_28455801的博客 496

2024年最新github面经,5 个Python高级应用,你确定知道?_python高级应用学的是啥,2024年腾讯Python高级面试题及答案

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。这是我花了几天的时间去把Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。Map() 是一种内置的 Python 函数,它可以将函数应用于各种数据结构中的元素,如列表或字典。我们执行了一些简单的数学运算,而无需定义整个函数。

2401_84132401的博客 597

RT-Thread网络编程:基于STM32F407的TCP客户端实现(含完整代码解析)

本文详细介绍了在STM32F407平台上,基于RT-Thread操作系统和LWIP协议栈实现工业级可靠TCP客户端的完整过程。内容涵盖底层ETH驱动配置、Socket编程、连接保活与断线重连机制、数据收发协议设计以及资源管理,提供了可应用于实际项目的健壮代码框架与调试技巧。

weixin_29184371的博客 494

如何利用Arcgis进行地统计学分析(三):空间插值方法选择与优化

本文深入探讨了在Arcgis中进行地统计学分析时,如何根据探索性数据分析(EDA)结果科学选择与优化空间插值方法。文章对比了IDW、RBF、克里金等主流方法的适用场景与核心参数,并通过实战案例详解了从数据诊断到模型调优的完整流程,强调结合半变异函数与趋势分析进行“对症下药”,以提升插值结果的精度与可靠性。

weixin_29281915的博客 122

错过这15个顶级Python库,你就不算Python程序员

为什么我喜欢Python?对于初学者来说,这是一种简单易学的编程语言,另一个原因:大量开箱即用的三方库,正是23万个由用户提供的软件包使得Python真正强大和流行。 在本文中,我挑选了15个最有用的软件包,介绍它们的功能和特点。 1. Dash Dash是比较新的软件包,它是用纯Python构建数据可视化app的理想选择,因此特别适合处理数据的任何人。Dash是Flask,Plotly.js和React.js的混合体。 2. Pygame Pygame是SDL多媒体库的Python装饰器,SDL(Sim

量化炼金 | CodeAlchemy 2924

向华为学习——解读99页华为战略解码【附全文阅读】

摘要:本方案针对企业战略落地难题,系统介绍华为战略解码方法论。内容涵盖BLM模型等核心工具,聚焦差距分析、市场洞察等关键环节,详细拆解战略到KPI、PBC的落地路径,配套组织保障和执行督导体系。适用于高管及战略规划人员,提供从战略制定到执行的全流程解决方案,帮助企业实现战略与执行的高效协同。

cdfunlove的博客 332

python 构建一个计算列表中位数的函数_Python高阶技巧,你 GET了吗?

Python 是一种美丽的语言,它简单易用却非常强大。但你真的会用 Python 的所有功能吗?下面是 Python 的 5 种高级特征,以及它们的用法。Lambda 函数Lambda 函数是一种比较小的匿名函数——匿名是指它实际上没有函数名。Python 函数通常使用 def a_function_name 样式来定义,但对于 lambda 函数,我们根本没为它命名。这是因为 lambda 函数...

weixin_36118049的博客 904

【TRAE调教指南之MCP篇】Context 7 MCP:让AI永远拥有最新技术文档

【TRAE调教指南之MCP篇】Context 7 MCP:让AI永远拥有最新技术文档

funfan的博客 1319

Xilinx FPGA ICAP原语实现多重配置

众所周知,常见的FPGA通常为SRAM结构,固件程序一般存放在外置的串行Flash中,比如SPI Flash,M25P16或N25Q128等。 FPGA启动时,一般先从SPI起始地址开始加载数据到内部的SRAM,加载完成、校验通过则会直接运行。 那么有没有可能在SPI Flash中存放两个或多个FPGA固件呢?

whik1194的博客 4615

Python3 多线程编程学习指南

多线程是一种在同一个进程内并发执行多个线程的技术。每个线程是一个独立的执行单元,共享进程的内存和资源。多线程允许在一个应用程序中同时执行多个任务。优势:挑战:在多线程环境下,由于线程共享内存,因此线程切换比进程切换更轻量,适用于处理并发任务。Python 中的 GIL(Global Interpreter Lock)是一个锁机制,确保同一时刻只有一个线程可以执行 Python 字节码。GIL 使得 Python 在执行 CPU 密集型任务时无法充分利用多核 CPU,这意味着在多线程程序中,CPU 密集型任务

wolf23151269的博客 975

16、经皮功能性电刺激助行:Parastep系统全解析

本文全面解析了经皮功能性电刺激助行系统——Parastep系统,涵盖其发展历史、技术参数、系统设计、患者准入标准、训练方案及临床效果。作为首个获得FDA批准并商业化的非侵入性FES助行系统,Parastep为胸段截瘫患者提供了独立站立与行走的可能性,并在改善下肢血流、肌肉质量、心理状态等方面展现出显著医学与心理益处。文章还对比了其他FES系统,分析了Parastep的优势与局限,并探讨了未来技术改进方向与应用拓展前景。

l3m4n的博客 110

[转载] 学Python的笔记(在网上自学的总结)

参考链接: Python中的str()vs repr() 壹、简单入门(安装Python就不说啦,仅Windows系统) 1、Python的交互模式:Python大小写敏感 注意区分命令模式和Python的交互模式 ①在cmd的命令模式下输入Python回车,Python的提示符是,之后就可以输入Python代码执行 ②完了之后输入 exit() ,退出Python的交互模式即可回到命令模式,注意要注意中英文符号,Python区分大小写的 ③也可以在命令模式下执行一个 文件,注意...

u013946150的博客 682

2020年大连理工大学《单片机原理及应用》期末试卷

2020年大连理工大学《单片机原理及应用》期末试卷 此试卷为大连理工大学2020年《单片机原理及应用》期末试卷; 大连理工大学2020年《单片机原理及应用》期末试卷; 大连理工大学2020年《单片机原理及应用》期末试卷。 ...

无名何许人的博客 1479

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Python中的并发编程:多线程与多进程的高级应用

多线程是指在同一进程中运行多个线程,每个线程执行不同的任务,共享相同的内存空间。Python中的多线程通过threading模块实现,使用起来比较简单。# 创建线程# 启动线程# 等待线程结束多进程是指在操作系统中同时运行多个进程,每个进程拥有独立的内存空间和资源。Python中的多进程通过模块实现,可以利用多核处理器的优势。# 创建进程# 启动进程# 等待进程结束。

Trb601012的博客 1327

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

Python中的多线程与多进程高级应用

在Python中,多线程和多进程提供了强大的并行计算能力。而对于CPU密集型任务,多进程则更为合适。在实现过程中,需要注意线程和进程间的同步、互斥以及资源共享等问题,以确保程序的正确性和稳定性。通过合理地运用多线程和多进程,我们可以提高程序的执行效率,更好地利用系统资源,为大规模数据处理和分析提供有力支持。总之,只有深入理解多线程和多进程的工作原理,并结合实际业务场景灵活运用,才能发挥出Python在并行计算方面的最大潜力。多线程更适合IO密集型任务,因为线程的创建和销毁相对轻量,且线程间的切换成本较低。

weixin_46121540的博客 900

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

Python多线程与多进程

python多线程与多进程

尚墨1111的博客 1582

Python 多线程和多进程并发执行

python 中如何选择多线程,多进程实现并行执行脚本

wumingxiaoyao的博客 3784

一文掌握Python多线程与多进程

并发是今天计算机编程中的一项重要能力,尤其是在面对需要大量计算或I/O操作的任务时。Python 提供了多种并发的处理方式,本篇文章将深入探讨其中的两种:多线程与多进程,解析其使用场景、优点、缺点,并结合代码例子深入解读。

2201_75362610的博客 2815

Python实战:用多线程和多进程打造高效爬虫

通过使用多线程和多进程,我们可以显著提高网络爬虫的效率,更快地获取大量数据。然而,要小心线程安全问题和进程管理的开销。挑战与创造都是很痛苦的,但是很充实。

null18的博客 7576

Python实现多线程、多进程及协程

本文详细介绍了 Python 中多线程、多进程和协程的并发模型及其实现方式,并通过具体场景演示了如何使用面向对象思想实现这些模型。在实际应用中,应根据任务的类型和需求选择合适的并发模型,从而优化程序的性能和资源利用率。本文将详细介绍 Python 中的多线程、多进程和协程的概念及其实现方式,并通过具体场景展示如何在 Python 中使用面向对象的思想实现这些并发模型。接下来,我们通过一个计算密集型任务的示例来演示多进程的实现:计算一系列大数字的阶乘。主程序中创建并启动了多个计算进程,并使用。

闲人编程的博客 2574

一文带你搞清楚Python的多线程和多进程

本文介绍了在Python中使用线程池和进程池来实现并发编程的方法,并提供了相应的代码示例。

华为云官方博客 1838
上一篇: Python 数据可视化高级应用指南
下一篇: Python Web 开发高级应用指南
第一程序员
博客等级 码龄1年 1万+粉丝 1822原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值