关于python中三程三器的基础知识和简单例子
三程(进程,线程,协程)
进程
进程是什么
进程就是资源分配的最小单位(内存、cpu、网络、IO)
一个运行起来的程序就是一个进程
什么是程序(程序就是我们存储在硬盘上的代码)
硬盘(256G)、内存条(8G)
当我们双击图标、打开程序时，实际上就是通过I/O操作(读写)内存条里面
内存条就是我们所指的资源
CPU分时
CPU比你的手速快很多，分别处理每个线程，但是由于太快然后你觉得每个线程都是独占CPU
cpu是计算，只有时间片到了，获取cpu，线程真正执行
当你想使用网络、磁盘等资源的时候，需要cpu的调度
进程具有独立的内存空间，所以没有办法相互通信
进程是如何进行通信的呢
进程queue(父子进程通信)
pipe(同一程序下两个进程通信)
manangers(同一程序下多个进程通信)
RabbitMQ、Redis（不同程序间通信）
为什么需要进程池
一次性开启指定数量的进程
如果有是个进程，有一百个任务，一次可以处理多少个(一次性只能处理10个)
线程
为什么有了进程还需要线程
因为进程不同同一时间只做一个事情
什么是线程
线程是操作系统调度的最小单位
线程是进程真真的执行者，是一些指令的集合(进程资源的拥有者)
同一个进程下读多个线程共享内存空间，数据直接访问(数据共享)
为保证数据安全，必须使用线程锁
GIL全局解释器锁
在Python全局解释器下，保证同一时间只有一个线程运行
防止多个线程都修改数据
线程锁(互斥锁)
GIL锁只能保证同一时间只能有一个线程对某个资源操作，但当上一个线程还未执行完毕时可能就会释放GIL，其他 线程就可以操作了
线程锁本质把线程中的数据加了一把互斥锁
MySQL中共享锁&互斥锁
MySQL共享锁：
共享锁，所有线程都能读，而不能写
MySQL排它锁：
排它，任何线程读取这个数据的权利都没有
加上线程锁之后所有其他线程，读都不能读这个数据
有了GIL全局解释器锁为什么还需要线程锁?
因为cpu是分时使用的
死锁定义
两个以上的进程或线程在执行过程中，因争夺资源而造成的一种互相等待的现象，若无外力作用，他们都将无法推进 下去
协程
什么是协程?
协程就是微线程，纤程，本质是一个单线程
协程能在单线程处理高并发
线程遇到I/O操作会等待、阻塞。协程遇到I/O操作会自动切换(剩下的只有cpu操作)
线程的状态保存在CPU的寄存器和栈里，而协程拥有自己的空间，所以无需上下文切换的开销，所以快
为什么协程能遇到I/O自动切换?
协程有一个gevent模块(封装了greenlet模块)，遇到I/O自动切换
协程有什么优缺点?
协程缺点
无法利用多核资源：协程的本质是一个单线程，他不能同时将单个CPU的多个核用上，协程需要和进程配合才能运行 在多CPU上
线程阻塞(Blocking)操作(如IO时)会阻塞掉整个程序
协程优点：
处理高并发(单线程下处理高并发)
特别节省资源(500日活，用PHP写需要两百多台机器，但是golang只需要20多台机器)
200多台机器一年
20多台机器一年
三器(装饰器,生成器,迭代器)
装饰器
什么是装饰器?
装饰器本质是函数，用来给其他函数添加新的功能
特点是不修改调用方式，不修改源代码
装饰器的应用场景是什么？
用户认证、判断用户是否登录
计算函数运行时间(运用不多)
插入日志的时候
Redis缓存
为什么要使用装饰器？
可以结合我们实际的应用场景说需求
如何使用装饰器?
装饰器求海曙运行时间
import time
def timer(func): #timer(test1) func=test1
def deco(*args,**kwargs):
start_time = time.time()
func(*args,**kwargs) #run test1
stop_time = time.time()
print("running time is %s"%(stop_time-start_time))
return deco
# @timer # test1=timer(test1)
def test1():
time.sleep(3)
print("in the test1")
test1()
三级装饰器
#! /usr/bin/env python
# -*- coding: utf-8 -*-
import time
def auth(auth_type):
print("auth func:",auth_type)
def outer_wrapper(func):
def wrapper(*args, **kwargs):
print("wrapper func args:", *args, **kwargs)
print('运行前')
func(*args, **kwargs)
print('运行后')
return wrapper
return outer_wrapper
@auth(auth_type="local") # home = wrapper()
def home():
print("welcome to home page")
return "from home"
home()
生成器
什么是生成器?
生成器就是一个特殊的迭代器
一个有yield关键字等的函数就是一个生成器
生成器是一个能记住上次返回时在函数体中位置的一个函数
对生成器函数的第二次或第N次调用跳转至该函数中间，而上次调用的所有局部变量都保持不变
生成器有哪些应用场景？
生成器是一个概念，我们平常也用的并不多，但是Python源码大量使用
比如我们Tornado框架就是基于生成器+协程
在我们代码中举例说明
如我们要生成一百万个数据，如果用生成器非常节省空间，用列表浪费大量空间
import time
t1 = time.time()
g = (i for i in range(100000000))
t2 = time.time()
lst = [i for i in range(100000000)]
t3 = time.time()
print('生成器时间：',t2 - t1) # 生成器时间： 0.0
print('列表时间：',t3 - t2) # 列表时间： 5.821957349777222
为什么使用生成器
- 节省空间
- 高效
如何使用生成器呢？
#!/usr/bin/python
# -*- coding: utf-8 -*-
def read_big_file_v(fname):
block_size = 1024 * 8
with open(fname,encoding="utf8") as fp:
while True:
chunk = fp.read(block_size)
# 当文件没有更多内容时，read 调用将会返回空字符串 ''
if not chunk:
break
print(chunk)
path = r'C:\aaa\luting\edc-backend\tttt.py'
read_big_file_v(path)
迭代器
什么是迭代器？
- 总是从集合内第一个元素访问，直到所有元素被访问过结束，当调用__next__而元素返回会引发一个Stoplteration异常
有两个方法：
- iter：返回迭代器自身
- next：返回下一个元素
使用迭代器构建斐波那契数列
class Fibiter(object):
def __init__(self,n):
#初始化参数
self.n = n #生成数列的前n个数
#当前数列中的第几个数
self.current = 0
#保存前一个数,初始为数列的前两个
self.num1 = 0
self.num2 = 1
#要实现迭代器得明白实现迭代的原理,实现iter和next方法
def __next__(self):
#说明还未达到
if self.current < self.n:
num = self.num1
self.num1,self.num2 = self.num2,self.num2+self.num1
self.current += 1
return num
else:
raise StopIteration
def __iter__(self):
return self
b = Fibiter(5)
print(list(b))
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
