learn-python3 多任务编程：线程、进程与协程实战指南
项目地址: https://gitcode.com/gh_mirrors/lea/learn-python3 在现代软件开发中，多任务编程已经成为提升程序性能的必备技能。Python 3 提供了强大的多任务编程支持，包括线程、进程和协程三种主要方式。本文将带你全面掌握Python多任务编程的核心概念和实战技巧，让你的程序运行效率大幅提升！🚀
为什么需要多任务编程？
多任务编程能够让你的程序同时处理多个任务，显著提升执行效率。想象一下，当你的程序需要同时处理网络请求、文件读写和用户交互时，多任务编程就是解决问题的终极武器！
Python中的多任务编程主要分为：
- 线程：适合I/O密集型任务，共享内存，切换开销小
- 进程：适合CPU密集型任务，内存独立，稳定性高
- 协程：适合高并发场景，资源消耗少，性能优秀
线程编程实战
线程是操作系统能够进行运算调度的最小单位，Python通过threading模块提供了完整的线程支持。
基础线程使用
在multitask/multi_threading.py中，你可以学习到如何创建和管理线程：
import threading
import time
def worker():
print(f"线程 {threading.current_thread().name} 开始执行")
time.sleep(1)
print(f"线程 {threading.current_thread().name} 执行完成")
# 创建并启动线程
t1 = threading.Thread(target=worker, name="工作线程1")
t2 = threading.Thread(target=worker, name="工作线程2")
t1.start()
t2.start()
线程同步与锁机制
当多个线程需要访问共享资源时，必须使用锁来保证数据一致性。multitask/do_lock.py展示了如何使用锁来保护共享数据：
import threading
balance = 0
lock = threading.Lock()
def change_it(n):
global balance
balance = balance + n
balance = balance - n
def run_thread(n):
for i in range(100000):
lock.acquire()
try:
change_it(n)
finally:
lock.release()
进程编程深度解析
进程是资源分配的基本单位，每个进程都有自己独立的内存空间。Python的multiprocessing模块让进程编程变得简单易用。
多进程基础
在multitask/multi_processing.py中，你可以看到进程的基本用法：
from multiprocessing import Process
import os
def run_proc(name):
print(f'运行子进程 {name} ({os.getpid()})')
if __name__=='__main__':
print(f'父进程 {os.getpid()}')
p = Process(target=run_proc, args=('test',))
p.start()
p.join()
进程池技术
对于需要创建大量进程的场景，使用进程池是最佳实践。multitask/pooled_processing.py展示了进程池的强大功能：
from multiprocessing import Pool
import time
def task(n):
print(f'执行任务 {n}')
time.sleep(2)
return n * n
if __name__=='__main__':
with Pool(4) as p:
results = p.map(task, [1, 2, 3, 4, 5])
print(results)
协程编程：高性能并发解决方案
协程是Python中实现高并发编程的终极武器，特别适合I/O密集型应用。
异步编程基础
在async/async_hello.py中，你可以学习到基本的异步编程模式：
import asyncio
async def hello():
print("Hello")
await asyncio.sleep(1)
print("World")
async def main():
await asyncio.gather(hello(), hello(), hello())
asyncio.run(main())
异步网络请求
async/async_wget.py展示了如何使用协程进行高效的网络请求：
import asyncio
async def wget(host):
print(f'wget {host}')
# 模拟网络请求
await asyncio.sleep(0.5)
print(f'{host} OK')
async def main():
tasks = [wget(host) for host in ['www.sina.com.cn', 'www.sohu.com', 'www.163.com']]
await asyncio.gather(*tasks)
asyncio.run(main())
进程间通信实战
多进程编程中，进程间通信是必须掌握的技能。multitask/do_queue.py展示了如何使用队列进行进程间通信：
from multiprocessing import Process, Queue
import time
def write(q):
for value in ['A', 'B', 'C']:
print(f'放入队列: {value}')
q.put(value)
time.sleep(1)
def read(q):
while True:
value = q.get(True)
print(f'从队列获取: {value}')
if __name__=='__main__':
q = Queue()
pw = Process(target=write, args=(q,))
pr = Process(target=read, args=(q,))
pw.start()
pr.start()
pw.join()
pr.terminate()
线程局部变量技巧
在某些场景下，我们需要为每个线程维护独立的数据。multitask/use_threadlocal.py展示了线程局部变量的使用方法：
import threading
local_school = threading.local()
def process_student():
std = local_school.student
print(f'Hello, {std} (在线程 {threading.current_thread().name} 中)')
def process_thread(name):
local_school.student = name
process_student()
t1 = threading.Thread(target=process_thread, args=('Alice',), name='Thread-A')
t2 = threading.Thread(target=process_thread, args=('Bob',), name='Thread-B')
t1.start()
t2.start()
多任务编程最佳实践总结
1. 选择合适的并发模型
- I/O密集型：优先选择协程，其次是线程
- CPU密集型：优先选择多进程
- 混合型任务：结合使用多种并发方式
2. 资源管理要点
- 及时释放锁和资源
- 使用上下文管理器（with语句）
- 合理设置线程/进程数量
3. 错误处理策略
- 为每个任务添加异常处理
- 使用超时机制避免死锁
- 监控资源使用情况
实战项目推荐
想要深入学习多任务编程？以下项目值得尝试：
- 异步Web服务器：web/do_flask.py
- 多进程任务调度：multitask/task_master.py 和 multitask/task_worker.py
- 协程网络爬虫：async/async_wget2.py
通过掌握这些多任务编程技术，你将能够构建出高性能、高并发的Python应用程序。记住，选择合适的并发模型是成功的关键！💪
开始你的多任务编程之旅吧，让程序性能飞起来！
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
