python分布式进程--managers

多任务实现方法可以是：多线程，多进程，异步IO（python中的协程）--通过单线程或者单进程实现多任务

多任务的任务类型：计算密集型，IO密集型

---

计算密集型：并行才能根本提高速度，并行数最好是机器核数，过多的线程或者进程反而降低了效率，因为要切换。另外用速度快的语言最好，如C语言

IO密集型：因为IO与cpu的速度差距太大，导致大部分时间都是在等待IO的过程，要尽量把等待的时间做有效的工作，所以并发量可以很大，但是也不能无限大，得有个限度，因为内存有限。这种类型的任务尽量用代码量少的来写，因为语言速度快

IO模式：

-- 阻塞 I/O（blocking IO）：阻塞，知道有结果，返回

-- 非阻塞 I/O（nonblocking IO）：不阻塞，直接返回

-- I/O 多路复用（ IO multiplexing）：select，poll，epoll

-- 信号驱动 I/O（ signal driven IO）

-- 异步 I/O（asynchronous IO）：python是用协程实现的，单线程或者单进程实现多任务

 

mutilprocessing中的managers子模块

大致流程：有master和worker，一个是发布任务的，后者是工作的

• 首先，master要注册队列或者其他容器在网络上面，属于master进程，worker需要通过网络来获取队列，在windows中要将队列写在一个函数里面，然后return这个队列就行，在Linux中可以直接用lambda: 队列，windows中本机IP不能用''，而是要显式写出来
• master将任务放入一个任务队列，绑定IP和端口，然后就start
• start之后，master要想获得队列，就等于从网络上获取队列了，我们需要通过队列的注册函数名来调用
• 放任务进任务队列