CPU密集型计算、IO密集型计算、多进程、多线程

参考链接:

使用多进程multiprocessing模块加速程序的运行_哔哩哔哩_bilibili

什么是CPU密集型计算、IO密集型计算:

CPU密集型:

CPU密集型也叫计算密集型,是指I/O在很短的时间就可以完成,CPU需要大量的计算和处理,特点是CPU占用率相当高。

例如:压缩解压缩、加密解密、这规则表达式搜索

IO密集型:

I/O密集型值得是系统运作大部分的状况是CPU在等I/O(硬盘/内存)的读、写操作,CPU占用率仍然较低。

例如:文件处理程序、网络爬虫程序、读写数据库程序

多线程、多进程、多协程的对比

多进程Process(multiprocessing)

  • 优点:可以利用多核CPU并行计算
  • 缺点:占用资源最多、可启动数目比线程少
  • 适用于:CPU密集型计算

多线程Thread(threading)

  • 优点:相比进程,更轻量级、占用资源少
  • 缺点:
    • 相比进程:多线程只能并发执行,不能利用多CPU(GIL)
    • 相比协程:启动数目有限制,占用内存资源,有线程切换开销
  • 适用于:IO密集型计算、同时运行的任务数目要求不多
CPU密集型任务IO密集型任务是两种不同的计算任务类型,它们在资源使用、性能优化编程方法上有着明显的区别[^1]。 ### CPU密集型任务 CPU密集型任务也被称为计算密集型任务,其主要特点是需要大量的CPU计算资源。在执行过程中,CPU一直处于忙碌状态,任务的执行时间主要取决于CPU计算能力。例如,进行大规模的数值计算、数据加密解密、图像视频处理等任务都属于CPU密集型任务。在处理这类任务时,CPU的使用率会很高,而I/O操作相对较少。为了提高这类任务的执行效率,通常需要使用多核CPU进行并行计算,以充分利用CPU计算能力。在编程实现上,多进程可能是更好的选择,因为多进程可以绕过Python中的全局解释器锁(GIL),让每个进程在不同的CPU核心上并行执行。例如,在Python中使用`multiprocessing`模块来处理CPU密集型任务: ```python import multiprocessing def cpu_intensive_task(n): return sum(i * i for i in range(n)) if __name__ == '__main__': num_processes = multiprocessing.cpu_count() pool = multiprocessing.Pool(processes=num_processes) results = pool.map(cpu_intensive_task, [1000000] * num_processes) pool.close() pool.join() print(results) ``` ### IO密集型任务 IO密集型任务则主要涉及大量的输入输出操作,如文件读写、网络请求等。在执行这类任务时,CPU大部分时间处于等待状态,等待I/O操作完成。因此,任务的执行时间主要取决于I/O设备的速度,而不是CPU计算能力。例如,Web服务器处理大量的HTTP请求、数据库查询等都属于IO密集型任务。对于IO密集型任务,由于线程在处理I/O的时间段内不会占用CPU来处理,这时可以将CPU交出给其它线程使用,所以多线程或异步编程是比较合适的处理方式。在Python中,可以使用`threading`模块或`asyncio`库来处理IO密集型任务。以下是使用`threading`模块的示例: ```python import threading import requests def io_intensive_task(url): response = requests.get(url) return response.text urls = ['https://www.example.com'] * 10 threads = [] for url in urls: thread = threading.Thread(target=io_intensive_task, args=(url,)) threads.append(thread) thread.start() for thread in threads: thread.join() ``` ### 总结 CPU密集型任务主要依赖CPU计算能力,而IO密集型任务则主要受限于I/O设备的速度。在并发编程中,需要根据任务的类型选择合适的并发模型来提高程序的性能。对于CPU密集型任务,多进程是更好的选择;对于IO密集型任务,多线程或异步编程则更为合适。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值