目录
并发:基本概念
并发和并行区别
- 并行(parallel):同时做某些事,可以互不干扰的同一个时刻做几件事
- 并发(concurrency):也是同时做某些事,但是强调,一个时间段内有事情处理
举例:乡村公路一条车道,半幅路面出现了坑,交警指挥交通。众多车辆在这一时段通过路面的事件,这就是并发。交警指挥,车辆排队通过另外半幅路面,一个方向放行3分钟,停止该方向通行,换另一个方向放行
高速公路的车道,双向4车道,所有车辆(数据)可以互不干扰的在自己的车道上奔跑(传输)。在同一个时刻,每条车道上可能同时有车辆在跑,时同时发生的概念,这就是并行
并发的解决
"食堂打饭模型"
- 中午12点,开饭啦,大家都涌向食堂,这就是并发。这就是高并发
1、队列、缓冲区
假设队列只有一个窗口,陆续涌入食堂的人,排队打菜时比较好的方式。所以,排队(队列)是一种天然解决并发的办法。
排队就是把人排成队列,先进先出,解决了资源使用的问题。排队的队列,其实就是一个缓冲地带,就是缓冲区。
假设女生优先,那么这个窗口就得是两队,只要是女生来就可以先打饭,男生队列等着,女生队伍就是一个优先队列
例如:queue模块的类queue、LifoQueue(后入先出队列)、PriorityQueue(优先队列)
2、预处理
如果排长队的原因,是由于每个人等候时间长,因为要吃的菜没有,需要先做,没打着饭不走开,锁定着窗口。
食堂可以提前统计大多数人最爱吃的菜品,将最爱吃的80%的热们菜,提前做好,保证供应,20%的冷门菜,现做,这样大多数人,就算锁定窗口,也很快就是释放窗口了,一种提前加载用户需要的数据的思路,预处理思想,缓存常用
3、争抢
只开一个窗口,有可能没有秩序,也就是谁挤进去就给谁打饭
挤到窗口的人占据窗口,直到打到饭菜离开
其他人继续争抢,会有一个人占据窗口,可以视为锁定窗口,窗口就不能未其他人提供服务了,这是一种锁机制
4、并行
成百上千人同时来吃饭,一个队伍搞不定的,多开窗口形成多个队列,如同开多个车道一样,并行打菜
开窗口就得扩大食堂,得多雇人在每一个窗口提供服务,造成成本上升
日常可以通过购买更多服务器,或多开线程、线程实现并行处理,来解决并发问题
注意这些是水平扩展思想
注:
如果线程在单CPU上处理,就不是并行
但是多数服务器都是多CPU的,服务的部署往往是多机的,分布式的,这都是并行处理
5、提速
提高单个窗口的打饭速度,也是解决并发的方式
打饭人员提高工作技能,或为单个窗口配备更多的服务人员,都是提速的办法
提高单个CPU的性能,或单个服务器安装更多的CPU
这是一种重置思想
6、消息中间件
上地、沙河地铁站外的九曲回肠的走廊,缓冲人流,进去之后再更多安检进站。
常见的消息中间件有RabbitMQ、ActiveMQ(Apache)、RocketMQ(阿里Apacahe)、Kafka(Apache)等
当然还有其他手段解决并发问题,但是已经列举除了最常见的解决方案,一般来说不同的并发场景不同的策略,而策略可能是多种方式的优化组合
例如多开食堂(多地)、也可以把食堂建设到宿舍生活区(就近)
进程和线程
在实现线程的操作系统中,线程是操作系统能够进行运算调度的最小单位,它被包含在进程之中,是进程中的实际运作单位,一个程序的执行实例就是进程
进程(Process)是计算机的程序关于某数据集合上的一次运动活动,是系统进行资源分配和调度基本单位,是操作系统结构的基础
进程与线程的关系
- 进程是源代码编译后的文件,而这些文件存放在磁盘上,当程序被操作系统加载到内存够中,就是进程,进程存放指令+数据(资源),它也是线程的容器
Linux进程有父进程、子进程,Windows的进程是平等关系
线程,有时被称为轻量级进程(Lightweight Process LWP),是程序执行流的最小单位。
- 一个标准的线程由线程ID,当前指令指针(PC),寄存器集合和堆栈组成
- 在许多系统中,创建一个线程比创建一个进程快10-100倍
进程、线程的理解
- 现代操作系统提出进程的概念,每一个进程都认为自己独立所有的计算机硬件资源
- 进程是一个独立王国,进程间不可以随便的共享数据
- 线程就是省份,同一个进程内的线程可以共享进程的资源,每一个线程拥有自己独立的堆栈
线程的状态
状态 含义 就绪(Ready) 线程能够运行,但在等待被调度,可能线程刚创建启动,或刚刚从阻塞中恢复,或者被其他线程抢占 运行(Running) 线程正在运行 阻塞(Blocked) 线程等待外部时间发生而无法运行,如I/O操作 终止(Terminated) 线程完成,或退出,或被取消 ![]()
Python的线程开发
Python中的进程和线程:进程会启动一个解释器进程,线程共享一个解释器进程
python中的线程开发:python的线程开发使用标准库Threadin
def __init__(self, group=None, target=None, name=None, args=(), kwargs=None, *, daemon=None):
参数名 含义 target 线程调用的对象,就是目标函数 name 为线程起个名字 args 为目标函数传递实参,元组 kwargs 为目标函数关键字传参,字典
线程的启动
import threading #最简单的线程 def work(): print("I am Working") print("Fineshed") t = threading.Thread(target=work,name="work") t.start() 结果: I am Working Fineshed
- 通过threading.Thread 创建一个线程对象,target是目标函数,name可以指定名称
- 但是线程没有启动,需要调用star方法
- 线程之所以函数,是因为线程中就是执行代码的,而最简单的封装就是函数,所以还是函数
- 函数执行完,线程也就退出了
那么,如果不让线程退出,或者让线程一直工作怎么办?
import threading import time #最简单的线程 def work(): while True: time.sleep(1) print("I am Working") print("Finished") t = threading.Thread(target=work,name="work") t.start() 结果: I am Working
线程退出
Python中没有提供线程退出的方法,线程在下面情况时退出
1、线程函数内语句执行完毕
2、线程函数中执行出未处理的异常
import threading import time def worker(): count = 0 while True: if (count) > 5: #raise RuntimeError(count) #return break time.sleep(1) print("I am working") count +=1 t = threading.Thread(target=worker,name="worker") t.start() print("=====End======") 结果: =====End====== I am working I am working I am working I am working I am working I am working
Python的线程没有优先级、没有线程组的概念、也不能被销毁、停止、挂起,那也就是没有恢复、中断了
线程的传参
- 线程传参和函数传参没有什么区别,本质上就是函数传参
import threading import time def add(x,y): print("{} + {} = {} id = {} ".format(x,y,x+y,threading.current_thread().ident)) t1 = threading.Thread(target=add,name="add1",args=(4,5)) t1.start() time.sleep(1) t2 =threading.Thread(target=add,name="add2",kwargs={"x":5,"y":6}) t2.start() time.sleep(1) t3 = thre