python并发编程笔记1

python并发编程笔记1

是根据蚂蚁学Python的视频做的笔记，方便自己后续回顾

视频链接：BV1bK411A7tV

老师的源码

这一份笔记对应的是视频的P1-P2

P1-python并发编程简介

1、并发编程涉及的模块：

• 多线程：threading，利用CPU和IO可以同时执行的原理，让CPU不会干巴巴等待IO完成
• 多进程：multiprocessing，利用多核CPU的能力，真正的并行执行任务
• 异步IO：asyncio，在单线程利用CPU和IO同时执行的原理，实现函数异步执行

2、额外的函数辅助这些模块：

• 使用Lock对资源加锁，防止冲突访问
• 使用Queue实现不同线程/进程之间的数据通信，实现生产者-消费者模式
• 使用线程池Pool/进程池Pool，简化线程/进程的任务提交、等待结束、获取结果
• 使用subprocess启动外部程序的进程，并进行输入输出交互

P2-怎么选择多线程多进程多协程

1、并发编程的三种方式

• 多线程：Thread
• 多进程：Process
• 多协程：Coroutine

课前提问：Thread已经解决了并发的问题了，为什么还要学习后面两种呢

解答：在实际开发过程中遇到的问题不同，以上三种并发编程适用于不同的场景

2、什么是CPU密集型计算、IO密集型计算？

• CPU密集型（CPU-bound）：

  CPU密集型也叫计算密集型，是指I/O在很短的时间就可以完成，CPU需要大量的计算和处理，特点是CPU占用率相当高
  例如：压缩解压缩、加密解密、正则表达式搜索

• IO密集型(I/O bound) :
  IO密集型指的是系统运作大部分的状况是CPU在等I/O(硬盘/内存)的读/写操作，CPU占用率仍然较低。
  例如：文件处理程序、网络爬虫程序、读写数据库程序

3、多线程、多进程、多协程的对比：

基础知识：

并发:一段时间内,执行多个进程

并行:一瞬间执行多个进程

一个进程中可以启动N个线程，一个线程中可以启动N个协程

	多进程Process（multiprocessing）	多线程Thread（threading）	多协程Coroutine（asyncio）
优点	可以利用多核CPU并行运算	相比进程，更轻量级，占用资源少	内存开销最少，启动协程数量最多
缺点	占用资源最多，可启动数目比线程少	相比进程：多线程只能并发执行，不能利用多CPU（GIL）	支持的库有限制（aiohttp/requests）
	（受限于CPU的数量限制）	相比协程：启动数目有限制，占用内存资源，有线程切换开销	代码实现复杂
适用于	CPU密集型计算	IO密集型计算、同时运行的任务数目要求不多	IO密集型计算、需要超多任务运行，但有现成库支持的场景

4、怎么根据任务选择对应的技术？

运行的任务数目要求不多 | IO密集型计算、需要超多任务运行，但有现成库支持的场景 |

4、怎么根据任务选择对应的技术？