多线程与多进程对比及Python优化方案
多线程与多进程基础
线程是同一进程的一部分,它们共享相同的内存空间和资源。而进程不与创建它的父进程共享内存空间,因此进程间的通信可能更为复杂。
多进程相较于多线程有其优势和劣势,如下表所示:
| 优势 | 劣势 |
| — | — |
| 利用多核系统 | 内存占用大 |
| 独立内存空间消除竞态条件 | 进程间共享可变数据更困难 |
| 子进程易于中断(可杀死) | 进程间通信(IPC)比线程更难 |
| 避免GIL限制(仅在CPython中) | |
Python中的多进程
Python的 multiprocessing
模块(https://docs.python.org/2/library/multiprocessing.html)提供了 Process
类,其API与 threading.Thread
类相似,因此从多线程代码迁移到多进程代码并不困难。
以下是一个简单的多进程脚本示例:
#!/usr/bin/python
import multiprocessing
def run( pname ):
print pname
for i in range(10):
p = multiprocessing.Process(target=run, args=("Process-" + str(i), ))
p.start()