参考链接:
使用多进程multiprocessing模块加速程序的运行_哔哩哔哩_bilibili
什么是CPU密集型计算、IO密集型计算:
CPU密集型:
CPU密集型也叫计算密集型,是指I/O在很短的时间就可以完成,CPU需要大量的计算和处理,特点是CPU占用率相当高。
例如:压缩解压缩、加密解密、这规则表达式搜索
IO密集型:
I/O密集型值得是系统运作大部分的状况是CPU在等I/O(硬盘/内存)的读、写操作,CPU占用率仍然较低。
例如:文件处理程序、网络爬虫程序、读写数据库程序
多线程、多进程、多协程的对比
多进程Process(multiprocessing)
- 优点:可以利用多核CPU并行计算
- 缺点:占用资源最多、可启动数目比线程少
- 适用于:CPU密集型计算
多线程Thread(threading)
- 优点:相比进程,更轻量级、占用资源少
- 缺点:
- 相比进程:多线程只能并发执行,不能利用多CPU(GIL)
- 相比协程:启动数目有限制,占用内存资源,有线程切换开销
- 适用于:IO密集型计算、同时运行的任务数目要求不多