文章部分转自:https://github.com/jackh001/python100Day/blob/master
文章部分转自:https://blog.youkuaiyun.com/u014745194/article/details/70833003
自己的话:每天都要保持前进,我势必要有强劲的实力,再跟全新的自己问好
眼泪你别问 . joker这个男人你别恨
进程和线程
一、Python中进程和线程的总体区别
1.线程
线程是操作系统中能够进行运算调度的最小单位。它被包含在进程之中,是进程中的实际运作单位。
一个线程指的是进程中一个单一顺序的控制流。
一个进程中可以并发多条线程,每条线程并行执行不同的任务。
2.进程
进程就是一个程序在一个数据集上的一次动态执行过程。
进程有以下三部分组成:
1,程序:我们编写的程序用来描述进程要完成哪些功能以及如何完成。
2,数据集:数据集则是程序在执行过程中需要的资源,比如图片、音视频、文件等。
3,进程控制块:进程控制块是用来记录进程的外部特征,描述进程的执行变化过程,系统可以用它来控制和管理进程,它是系统感知进程存在的唯一标记。
3.进程和线程的区别
(1)运行方式不同:
进程不能单独执行,它只是资源的集合。
进程要操作CPU,必须要先创建一个线程。
所有在同一个进程里的线程,是同享同一块进程所占的内存空间
(2)关系:
进程中第一个线程是主线程,主线程可以创建其他线程;其他线程也可以创建线程;线程之间是平等的。
进程有父进程和子进程,独立的内存空间,唯一的标识符:pid
(3)速度:
启动线程比启动进程快。
运行线程和运行进程速度上是一样的,没有可比性。
线程共享内存空间,进程的内存是独立的。
(4)创建:
父进程生成子进程,相当于复制一份内存空间,进程之间不能直接访问
创建新线程很简单,创建新进程需要对父进程进行一次复制。
一个线程可以控制和操作同级线程里的其他线程,但是进程只能操作子进程。
(5)交互:
同一个进程里的线程之间可以直接访问。
两个进程想通信必须通过一个中间代理来实现。
4.并发和并行
并发:微观上CPU轮流执行,宏观上用户看到同时执行。因为cpu切换任务非常快。
并行:是指系统真正具有同时处理多个任务(动作)的能力
二、进程和多进程
课堂截图(from:joker):
启动一个进程:
我们通过Process类创建进程对象,**通过target参数我们传入一个函数来表示进程启动后要执行的代码,后面的args是一个元组,它代表了传递给函数的参数。Process对象的start方法用来启动进程,而join方法表示等待进程执行结束。**运行上面的代码可以明显发现两个下载任务“同时”启动了,而且程序的执行时间将大大缩短,不再是两个任务的时间总和。
使用多进程要比单进程下载速度快很多。
1.管道
管道有两端,读端和写端。创建管道,然后从父进程fork出子进程,父进程和子进程拥有共同的读写文件描述符,可以实现子进程写文件,父进程读文件的操作。
import multiprocessing
def A(conn):
while 1:
print('A',conn.recv())
if __name__ == "__main__":
conn_a,conn_b = multiprocessing.Pipe()
p = multiprocessing.Process(target = A,args = (conn_a,))
p.start()
while 1:
input_ = input('>>>')
conn_b.send(input_)
课堂练习:机器人与人的对话
import multiprocessing
def M(conn):
while 1:
recv_ = conn.recv()
print("机器人收到:%s"%recv_)
if recv_ == "你好":
conn.send("我不好~~~")
elif recv_ == "今天天气怎么样":
conn.send("心情好,天气就不错")
else:
conn.send("我在忙,稍后再试")
def P(conn):
y = 'y'
while y != 'n':
input_ = input('人说:')
conn.send(input_)
print('机器人说:%s'%(conn.recv()))
conn.close()
if __name__ == "__main__":
conn_M,conn_P = multiprocessing.Pipe()
p_M = multiprocessing.Process(target = M,args = (conn_M,))
p_M.start()
P(conn_P)
2.队列Queue(*****)
(1)maxsize 队列中可存放的元素数量
(2)empty() 如果队列为空返回 True ,否则返回 False
full()
(3)如果有 maxsize 个条目在队列中,则返回 True 。
如果队列用 maxsize=0 (默认)初始化,则 full() 永远不会返回 True 。
coroutine get() 从队列中删除并返回一个元素。如果队列为空,则等待,直到队列中有元素。
(4)get_nowait() 立即返回一个队列中的元素,如果队列内有值,否则引发异常 QueueEmpty
(5)coroutine join() 阻塞至队列中所有的元素都被接收和处理完毕。
当条目添加到队列的时候,未完成任务的计数就会增加。每当消费协程调用 task_done() 表示这个条目已经被回收,该条目所有工作已经完成,未完成计数就会减少。当未完成计数降到零的时候, join() 阻塞被解除。
(6)coroutine put(item) 添加一个元素进队列。如果队列满了,在添加元素之前,会一直等待空闲插槽可用。
(7)put_nowait(item) 不阻塞的放一个元素入队列。
(8)如果没有立即可用的空闲槽,引发 QueueFull 异常。
(9)qsize() 返回队列用的元素数量。
(10)task_done() 表明前面排队的任务已经完成,即get出来的元素相关操作已经完成。
import multiprocessing
import os
queue = multiprocessing.Queue()
def adddata(queue, i): # 子进程调用的函数
queue.put(i)
print('put', os.getppid(), os.getpid(), i)
if __name__ == '__main__': # 脚本父进程
mylist = []
for i in range(10):
p = multiprocessing.Process(target=adddata, args=(queue, i)) # 子进程
p.start()
mylist.append(queue.get()) # get拿不到东西会一直等待
进程数据共享
import multiprocessing
def func(num):
num.value = 10
if __name__ == '__main__':
num = multiprocessing.Value('d', 1) #float
print(num.value)
p = multiprocessing.Process(target=func, args=(num,))
p.start()
p.join()
print(num.value)
进程列表数据共享
import multiprocessing
def func(num):
num[2] = 9999
if __name__ == '__main__':
num = multiprocessing.Array('i', [1, 2, 3, 4, 5, 6]) # i代表int类型
print(num[:])
p = multiprocessing.Process(target=func, args=(num,))
p.start()
p.join()
print(num[:])
进程字典数据共享
import multiprocessing
def func(mydict, mylist):
mydict["hahahaha"] = "哈哈哈哈"
mydict["lalalala"] = "啦啦啦啦"
mylist.append(11)
mylist.append(22)
mylist.append(33)
if __name__ == "__main__":
mydict = multiprocessing.Manager().dict()
mylist = multiprocessing.Manager().list(range(5))
p = multiprocessing.Process(target=func, args=(mydict, mylist))
p.start()
p.join()
print(mylist)
print(mydict)