视频在线学习地址:https://www.bilibili.com/video/BV1Yp4y117BA
————————————————
——Python全套:BV1jZ4y1p7zQ
学习目标
- 能够说出进程和线程的概念
- 能够创建和管理进程
- 能够实现不同进程之间的通信
- 能够创建线程并实现不同线程间通信
- 能够解决线程安全问题
线程访问全局变量
import threading g_num = 0 def test(n): global g_num for x in range(n): g_num += x g_num -= x print(g_num) if __name__ == '__main__': t1 = threading.Thread(target=test, args=(10,)) t2 = threading.Thread(target=test, args=(10,)) t1.start() t2.start()
在一个进程内的所有线程共享全局变量,很方便在多个线程间共享数据。缺点就是,线程是对全局变量随意遂改可能造成多线程之间对全局变量的混乱(即线程非安全)。
线程的安全问题
import threading import time ticket = 20 def sell_ticket(): global ticket while True: if ticket > 0: time.sleep(0.5) ticket -= 1 print('{}卖了一张票,还剩{}'.format(threading.current_thread().name, ticket)) else: print('{}票卖完了'.format(threading.current_thread().name)) break for i in range(5): t = threading.Thread(target=sell_ticket, name='thread-{}'.format(i + 1)) t.start()
同步
当多个线程几乎同时修改某一个共享数据的时候,需要进行同步控制。同步就是协同步调,按预定的先后次序进行运行。线程同步能够保证多个线程安全访问竞争资源,最简单的同步机制是引入互斥锁。
互斥锁
互斥锁为资源引入一个状态:锁定/非锁定
某个线程要更改共享数据时,先将其锁定,此时资源的状态为“锁定”,其他线程不能更改;直到该线程释放资源,将资源的状态变成“非锁定”,其他的线程才能再次锁定该资源。互斥锁保证了每次只有一个线程进行写入操作,从而保证了多线程情况下数据的正确性。
threading模块中定义了Lock类,可以方便的处理锁定:
# 创建锁 mutex = threading.Lock() # 锁定 mutex.acquire() # 释放 mutex.release()
Copy注意:
- 如果这个锁之前是没有上锁的,那么acquire不会堵塞
如果在调用acquire对这个锁上锁之前 它已经被 其他线程上了锁,那么此时acquire会堵塞,直到这个锁被解锁为止。
和文件操作一样,Lock也可以使用with语句快速的实现打开和关闭操作。
使用互斥锁解决卖票问题
import threading import time ticket = 20 lock = threading.Lock() def sell_ticket(): global ticket while True: lock.acquire() if ticket > 0: time.sleep(0.5) ticket -= 1 lock.release() print('{}卖了一张票,还剩{}'.format(threading.current_thread().name, ticket)) else: print('{}票卖完了'.format(threading.current_thread().name)) lock.release() break for i in range(5): t = threading.Thread(target=sell_ticket, name='thread-{}'.format(i + 1)) t.start()
上锁过程: 当一个线程调用锁的acquire()方法获得锁时,锁就进入“locked”状态。 每次只有一个线程可以获得锁。如果此时另一个线程试图获得这个锁,该线程就会变为“blocked”状态,称为“阻塞”,直到拥有锁的线程调用锁的release()方法释放锁之后,锁进入“unlocked”状态。 线程调度程序从处于同步阻塞状态的线程中选择一个来获得锁,并使得该线程进入运行(running)状态。 总结 锁的好处: 确保了某段关键代码只能由一个线程从头到尾完整地执行 锁的坏处: 阻止了多线程并发执行,包含锁的某段代码实际上只能以单线程模式执行,效率就大大地下降了。 由于可以存在多个锁,不同的线程持有不同的锁,并试图获取对方持有的锁时,可能会造成死锁。
线程间通信
线程之间有时需要通信,操作系统提供了很多机制来实现进程间的通信,其中我们使用最多的是队列Queue.
Queue的原理
Queue是一个先进先出(First In First Out)的队列,主进程中创建一个Queue对象,并作为参数传入子进程,两者之间通过put( )放入数据,通过get( )取出数据,执行了get( )函数之后队列中的数据会被同时删除,可以使用multiprocessing模块的Queue实现多进程之间的数据传递。
import threading import time from queue import Queue def producer(queue): for i in range(100): print('{}存入了{}'.format(threading.current_thread().name, i)) queue.put(i) time.sleep(0.1) return def consumer(queue): for x in range(100): value = queue.get() print('{}取到了{}'.format(threading.current_thread().name, value)) time.sleep(0.1) if not value: return if __name__ == '__main__': queue = Queue() t1 = threading.Thread(target=producer, args=(queue,)) t2 = threading.Thread(target=consumer, args=(queue,)) t3 = threading.Thread(target=consumer, args=(queue,)) t4 = threading.Thread(target=consumer, args=(queue,)) t6 = threading.Thread(target=consumer, args=(queue,)) t1.start() t2.start() t3.start() t4.start() t6.start()
多线程版聊天
import socket import threading s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) s.bind(('0.0.0.0', 8080)) def send_msg(): ip = input('请输入您要聊天的ip:') port = int(input('请输入对方的端口号:')) while True: msg = input('请输入聊天内容:') s.sendto(msg.encode('utf-8'), (ip, port)) if msg == "bye": ip = input('请输入您要聊天的ip:') port = int(input('请输入对方的端口号:')) def recv_msg(): while True: content, addr = s.recvfrom(1024) print('接收到了{}主机{}端口的消息:{}'.format(addr[0], addr[1], content.decode('utf-8')),file=open('history.txt', 'a', encoding='utf-8')) send_thread = threading.Thread(target=send_msg) recv_thread = threading.Thread(target=recv_msg) send_thread.start() recv_thread.start()
进程
程序:例如xxx.py这是程序,是一个静态的。
进程:一个程序运行起来后,代码+用到的资源 称之为进程,它是操作系统分配资源的基本单元。
不仅可以通过线程完成多任务,进程也是可以的。
进程的状态
工作中,任务数往往大于cpu的核数,即一定有一些任务正在执行,而另外一些任务在等待cpu进行执行,因此导致了有了不同的状态。
- 就绪态:运行的条件都已经满足,正在等在cpu执行。
- 执行态:cpu正在执行其功能。
- 等待态:等待某些条件满足,例如一个程序sleep了,此时就处于等待态。
创建进程
multiprocessing模块就是跨平台版本的多进程模块,提供了一个Process类来代表一个进程对象,这个对象可以理解为是一个独立的进程,可以执行另外的事情。
示例:创建一个进程,执行两个死循环。
from multiprocessing import Process import time def run_proc(): """子进程要执行的代码""" while True: print("----2----") time.sleep(1) if __name__=='__main__': p = Process(target=run_proc) p.start() while True: print("----1----") time.sleep(1)
说明
- 创建子进程时,只需要传入一个执行函数和函数的参数,创建一个Process实例,用start()方法启动
方法说明
Process( target [, name [, args [, kwargs]]])
- target:如果传递了函数的引用,可以任务这个子进程就执行这里的代码
- args:给target指定的函数传递的参数,以元组的方式传递
- kwargs:给target指定的函数传递命名参数
- name:给进程设定一个名字,可以不设定
Process创建的实例对象的常用方法:
- start():启动子进程实例(创建子进程)
- is_alive():判断进程子进程是否还在活着
- join([timeout]):是否等待子进程执行结束,或等待多少秒
- terminate():不管任务是否完成,立即终止子进程
Process创建的实例对象的常用属性:
- name:当前进程的别名,默认为Process-N,N为从1开始递增的整数
- pid:当前进程的pid(进程号)
示例:
from multiprocessing import Process import os from time import sleep def run_proc(name, age, **kwargs): for i in range(10): print('子进程运行中,name= %s,age=%d ,pid=%d...' % (name, age, os.getpid())) print(kwargs) sleep(0.2) if __name__=='__main__': p = Process(target=run_proc, args=('test',18), kwargs={"m":20}) p.start() sleep(1) # 1秒中之后,立即结束子进程 p.terminate() p.join()
线程和进程
功能
- 进程,能够完成多任务,比如 在一台电脑上能够同时运行多个QQ。
- 线程,能够完成多任务,比如 一个QQ中的多个聊天窗口。
定义的不同
- 进程是系统进行资源分配和调度的一个独立单位.
- 线程是进程的一个实体,是CPU调度和分派的基本单位,它是比进程更小的能独立运行的基本单位.线程自己基本上不拥有系统资源,只拥有一点在运行中必不可少的资源(如程序计数器,一组寄存器和栈),但是它可与同属一个进程的其他的线程共享进程所拥有的全部资源。
区别
- 一个程序至少有一个进程,一个进程至少有一个线程.
- 线程的划分尺度小于进程(资源比进程少),使得多线程程序的并发性高。
- 进程在执行过程中拥有独立的内存单元,而多个线程共享内存,从而极大地提高了程序的运行效率
- 线线程不能够独立执行,必须依存在进程中
- 可以将进程理解为工厂中的一条流水线,而其中的线程就是这个流水线上的工人
优缺点
线程和进程在使用上各有优缺点:线程执行开销小,但不利于资源的管理和保护;而进程正相反。
进程间通信-Queue
from multiprocessing import Queue q=Queue(3) #初始化一个Queue对象,最多可接收三条put消息 q.put("消息1") q.put("消息2") print(q.full()) #False q.put("消息3") print(q.full()) #True #因为消息列队已满下面的try都会抛出异常,第一个try会等待2秒后再抛出异常,第二个Try会立刻抛出异常 try: q.put("消息4",True,2) except: print("消息列队已满,现有消息数量:%s"%q.qsize()) try: q.put_nowait("消息4") except: print("消息列队已满,现有消息数量:%s"%q.qsize()) #推荐的方式,先判断消息列队是否已满,再写入 if not q.full(): q.put_nowait("消息4") #读取消息时,先判断消息列队是否为空,再读取 if not q.empty(): for i in range(q.qsize()): print(q.get_nowait())
说明
初始化Queue()对象时(例如:q=Queue()),若括号中没有指定最大可接收的消息数量,或数量为负值,那么就代表可接受的消息数量没有上限(直到内存的尽头);
- Queue.qsize():返回当前队列包含的消息数量;
- Queue.empty():如果队列为空,返回True,反之False ;
- Queue.full():如果队列满了,返回True,反之False;
- Queue.get([block[, timeout]]):获取队列中的一条消息,然后将其从列队中移除,block默认值为True;
1)如果block使用默认值,且没有设置timeout(单位秒),消息列队如果为空,此时程序将被阻塞(停在读取状态),直到从消息列队读到消息为止,如果设置了timeout,则会等待timeout秒,若还没读取到任何消息,则抛出"Queue.Empty"异常;
2)如果block值为False,消息列队如果为空,则会立刻抛出"Queue.Empty"异常;
- Queue.get_nowait():相当Queue.get(False);
- Queue.put(item,[block[, timeout]]):将item消息写入队列,block默认值为True;
1)如果block使用默认值,且没有设置timeout(单位秒),消息列队如果已经没有空间可写入,此时程序将被阻塞(停在写入状态),直到从消息列队腾出空间为止,如果设置了timeout,则会等待timeout秒,若还没空间,则抛出"Queue.Full"异常;
2)如果block值为False,消息列队如果没有空间可写入,则会立刻抛出"Queue.Full"异常;
- Queue.put_nowait(item):相当Queue.put(item, False);
使用Queue实现进程共享
我们以Queue为例,在父进程中创建两个子进程,一个往Queue里写数据,一个从Queue里读数据:
from multiprocessing import Process, Queue import os, time, random # 写数据进程执行的代码: def write(q): for value in ['A', 'B', 'C']: print('Put %s to queue...' % value) q.put(value) time.sleep(random.random()) # 读数据进程执行的代码: def read(q): while True: if not q.empty(): value = q.get(True) print('Get %s from queue.' % value) time.sleep(random.random()) else: break if __name__=='__main__': # 父进程创建Queue,并传给各个子进程: q = Queue() pw = Process(target=write, args=(q,)) pr = Process(target=read, args=(q,)) # 启动子进程pw,写入: pw.start() # 等待pw结束: pw.join() # 启动子进程pr,读取: pr.start() pr.join() print('所有数据都写入并且读完')
进程池
当需要创建的子进程数量不多时,可以直接利用multiprocessing中的Process动态成生多个进程,但如果是上百甚至上千个目标,手动的去创建进程的工作量巨大,此时就可以用到multiprocessing模块提供的Pool方法。
初始化Pool时,可以指定一个最大进程数,当有新的请求提交到Pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到指定的最大值,那么该请求就会等待,直到池中有进程结束,才会用之前的进程来执行新的任务,请看下面的实例:
from multiprocessing import Pool import os, time, random def worker(msg): t_start = time.time() print("%s开始执行,进程号为%d" % (msg,os.getpid())) # random.random()随机生成0~1之间的浮点数 time.sleep(random.random()*2) t_stop = time.time() print(msg,"执行完毕,耗时%0.2f" % (t_stop-t_start)) po = Pool(3) # 定义一个进程池,最大进程数3 for i in range(0,10): # Pool().apply_async(要调用的目标,(传递给目标的参数元祖,)) # 每次循环将会用空闲出来的子进程去调用目标 po.apply_async(worker,(i,)) print("----start----") po.close() # 关闭进程池,关闭后po不再接收新的请求 po.join() # 等待po中所有子进程执行完成,必须放在close语句之后 print("-----end-----")
运行效果:
----start---- 0开始执行,进程号为21466 1开始执行,进程号为21468 2开始执行,进程号为21467 0 执行完毕,耗时1.01 3开始执行,进程号为21466 2 执行完毕,耗时1.24 4开始执行,进程号为21467 3 执行完毕,耗时0.56 5开始执行,进程号为21466 1 执行完毕,耗时1.68 6开始执行,进程号为21468 4 执行完毕,耗时0.67 7开始执行,进程号为21467 5 执行完毕,耗时0.83 8开始执行,进程号为21466 6 执行完毕,耗时0.75 9开始执行,进程号为21468 7 执行完毕,耗时1.03 8 执行完毕,耗时1.05 9 执行完毕,耗时1.69 -----end-----
multiprocessing.Pool常用函数解析:
- apply_async(func[, args[, kwds]]) :使用非阻塞方式调用func(并行执行,堵塞方式必须等待上一个进程退出才能执行下一个进程),args为传递给func的参数列表,kwds为传递给func的关键字参数列表;
- close():关闭Pool,使其不再接受新的任务;
- terminate():不管任务是否完成,立即终止;
- join():主进程阻塞,等待子进程的退出, 必须在close或terminate之后使用;
进程池中的Queue
如果要使用Pool创建进程,就需要使用multiprocessing.Manager()中的Queue(),而不是multiprocessing.Queue(),否则会得到一条如下的错误信息:
RuntimeError: Queue objects should only be shared between processes through inheritance.
下面的实例演示了进程池中的进程如何通信:
# 修改import中的Queue为Manager from multiprocessing import Manager, Pool import os, time, random def reader(q): print("reader启动(%s),父进程为(%s)" % (os.getpid(), os.getppid())) for i in range(q.qsize()): print("reader从Queue获取到消息:%s" % q.get(True)) def writer(q): print("writer启动(%s),父进程为(%s)" % (os.getpid(), os.getppid())) for i in "helloworld": q.put(i) if __name__ == "__main__": print("(%s) start" % os.getpid()) q = Manager().Queue() # 使用Manager中的Queue po = Pool() po.apply_async(writer, (q,)) time.sleep(1) # 先让上面的任务向Queue存入数据,然后再让下面的任务开始从中取数据 po.apply_async(reader, (q,)) po.close() po.join() print("(%s) End" % os.getpid())
运行结果:
(4171) start writer启动(4173),父进程为(4171) reader启动(4174),父进程为(4171) reader从Queue获取到消息:h reader从Queue获取到消息:e reader从Queue获取到消息:l reader从Queue获取到消息:l reader从Queue获取到消息:o reader从Queue获取到消息:w reader从Queue获取到消息:o reader从Queue获取到消息:r reader从Queue获取到消息:l reader从Queue获取到消息:d (4171) End
01-多任务
import threading, time
def dance():
for i in range(50):
time.sleep(0.2)
print('我正在跳舞')
def sing():
for i in range(50):
time.sleep(0.2)
print('我正在唱歌')
# 多个任务同时执行
# Python里执行多任务: 多线程、多进程、多进程+多线程
# dance()
# singe()
# target 需要的是一个函数,用来指定线程需要执行的任务
t1 = threading.Thread(target=dance) # 创建了线程1
t2 = threading.Thread(target=sing) # 创建了线程2
# 启动线程
t1.start()
t2.start()
02-多线程聊天
import socket, sys
import threading
s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
s.bind(('192.168.31.199', 8080))
def send_msg():
while True:
msg = input('请输入您要发送的内容:')
s.sendto(msg.encode('utf8'), ('192.168.31.199', 9090))
if msg == 'exit':
break
def recv_msg():
while True:
# data的数据类型是一个元组
# 元组里第0个元素是接收到的数据
# 元组里第1个元素是发送方的ip地址和端口号
data, addr = s.recvfrom(1024)
print('接收到了{}地址{}端口的消息:{}'.format(addr[0], addr[1], data.decode('utf8')),
file=open('消息记录.txt', 'a', encoding='utf8'))
t1 = threading.Thread(target=send_msg)
t2 = threading.Thread(target=recv_msg)
t1.start()
t2.start()
03-多线程开发
import threading
import time
# 多个线程可以同时操作一个全局变量(多个线程共享全局变量)
# 线程安全问题
ticket = 20
def sell_ticket():
global ticket
while True: # ticket = 1 线程1:1 线程2: 1
if ticket > 0:
time.sleep(1) # 线程1: ticket=1 线程2:ticket=1
ticket -= 1 # 线程1: ticket = 0 线程2:ticket=-1
print('{}卖出一张票,还剩{}张'.format(threading.current_thread().name, ticket))
else:
print('票卖完了')
break
t1 = threading.Thread(target=sell_ticket, name='线程1')
t2 = threading.Thread(target=sell_ticket, name='线程2')
t1.start()
t2.start()
04-线程锁
import threading
import time
ticket = 20
# 创建一把锁
lock = threading.Lock()
def sell_ticket():
global ticket
while True:
print('呵呵呵')
print('哈哈哈')
print('ddd')
print('ppp')
print('sss')
print('ttt')
print('xxx')
lock.acquire() # 加同步锁
if ticket > 0:
time.sleep(1)
ticket -= 1
lock.release()
print('{}卖出一张票,还剩{}张'.format(threading.current_thread().name, ticket))
else:
lock.release()
print('票卖完了')
break
t1 = threading.Thread(target=sell_ticket, name='线程1')
t2 = threading.Thread(target=sell_ticket, name='线程2')
t1.start()
t2.start()
05-线程间通信
import threading, queue
import time
def produce():
for i in range(10):
time.sleep(0.5)
print('生产++++++面包{} {}'.format(threading.current_thread().name, i))
q.put('{}{}'.format(threading.current_thread().name, i))
def consumer():
while True:
time.sleep(1)
# q.get()方法时一个阻塞的方法
print('{}买到------面包{}'.format(threading.current_thread().name, q.get()))
q = queue.Queue() # 创建一个q
# 一条生产线
pa = threading.Thread(target=produce, name='pa')
pb = threading.Thread(target=produce, name='pb')
pc = threading.Thread(target=produce, name='pc')
# 一条消费线
ca = threading.Thread(target=consumer, name='ca')
cb = threading.Thread(target=consumer, name='cb')
cc = threading.Thread(target=consumer, name='cc')
pa.start()
pb.start()
pc.start()
ca.start()
cb.start()
cc.start()
06-多线程
import multiprocessing, time, os
def dance(n):
for i in range(n):
time.sleep(0.5)
print('正在跳舞{},pid={}'.format(i, os.getpid()))
def sing(m):
for i in range(m):
time.sleep(0.5)
print('正在唱歌{},pid={}'.format(i, os.getpid()))
if __name__ == '__main__':
print('主进程的pid={}'.format(os.getpid()))
# 创建了两个进程
# target 用来表示执行的任务
# args 用来传参,类型是一个元组
p1 = multiprocessing.Process(target=dance, args=(100,))
p2 = multiprocessing.Process(target=sing, args=(100,))
p1.start()
p2.start()
07-进程不共享全局变量
import os, multiprocessing, threading
n = 100
def test():
global n
n += 1
print('test==={}里n的值是{}'.format(os.getpid(), hex(id(n))))
def demo():
global n
n += 1
print('demo===={}里n的值是{}'.format(os.getpid(), hex(id(n))))
print(threading.current_thread().name)
test() # 101
demo() # 102
# 同一个主进程里的两个子线程。线程之间可以共享同一进程的全局变量
# t1 = threading.Thread(target=test)
# t2 = threading.Thread(target=demo)
# t1.start()
# t2.start()
# if __name__ == '__main__':
# 不同进程各自保存一份全局变量,不会共享全局变量
# p1 = multiprocessing.Process(target=test)
# p2 = multiprocessing.Process(target=demo)
# p1.start() # 101
# p2.start() # 101
08-进程间通信
import os, multiprocessing, time
def producer(x):
for i in range(10):
time.sleep(0.5)
print('生产了+++++++pid{} {}'.format(os.getpid(), i))
x.put('pid{} {}'.format(os.getpid(), i))
def consumer(x):
for i in range(10):
time.sleep(0.3)
print('消费了-------{}'.format(x.get()))
if __name__ == '__main__':
q = multiprocessing.Queue()
p1 = multiprocessing.Process(target=producer, args=(q,))
p2 = multiprocessing.Process(target=producer, args=(q,))
p3 = multiprocessing.Process(target=producer, args=(q,))
p1.start()
p2.start()
p3.start()
c2 = multiprocessing.Process(target=consumer, args=(q,))
c2.start()
09-queue队列
import multiprocessing, queue
# q1 = multiprocessing.Queue() # 进程间通信
# q2 = queue.Queue() # 线程间通信
# 创建队列时,可以指定最大长度。默认值是0,表示不限
q = multiprocessing.Queue(5)
q.put('hello')
q.put('good')
q.put('yes')
q.put('ok')
q.put('hi')
# print(q.full()) # True
# q.put('how') # 无法放进去
# block = True:表示是阻塞,如果队列已经满了,就等待
# timeout 超时,等待多久以后程序会出错,单位是秒
# q.put('how', block=True, timeout=5)
# q.put_nowait('how') # 等价于 q.put('how',block=False)
print(q.get())
print(q.get())
print(q.get())
print(q.get())
print(q.get())
# print(q.get())
# q.get(block=True, timeout=10)
q.get_nowait()
10-进程池的使用
from multiprocessing import Pool
import os, time, random
def worker(msg):
t_start = time.time()
print("%s开始执行,进程号为%d" % (msg, os.getpid()))
# random.random()随机生成0~1之间的浮点数
time.sleep(random.random() * 2)
t_stop = time.time()
print(msg, "执行完毕,耗时%0.2f" % (t_stop - t_start))
if __name__ == '__main__':
po = Pool(3) # 定义一个进程池,最大进程数3
for i in range(0, 10):
# Pool().apply_async(要调用的目标,(传递给目标的参数元祖,))
# 每次循环将会用空闲出来的子进程去调用目标
po.apply_async(worker, (i,))
print("----start----")
po.close() # 关闭进程池,关闭后po不再接收新的请求
po.join() # 等待po中所有子进程执行完成,必须放在close语句之后
print("-----end-----")
11-join方法的使用
# join 线程和进程都有join方法
import threading
import time
x = 10
def test(a, b):
time.sleep(1)
global x
x = a + b
# test(1, 1)
# print(x)
t = threading.Thread(target=test, args=(1, 1))
t.start()
t.join() # 让主线程等待
print(x)