分布式进程

 分布式进程

参考链接：https://www.liaoxuefeng.com/wiki/897692888725344/923057623066752

但其中有些坑，下面会记录

taskmanager.py

import queue
import random
from multiprocessing.managers import BaseManager

task_queue = queue.Queue()
result_queue = queue.Queue()


def return_task_queue():
    global task_queue
    return task_queue


def return_result_queue():
    global result_queue
    return result_queue


class QueueManager(BaseManager):
    pass


if __name__ == '__main__':
    QueueManager.register('get_task_queue', callable=return_task_queue)
    QueueManager.register('get_result_queue', callable=return_result_queue)

    manager = QueueManager(address=('127.0.0.1', 5000), authkey=b'abc')
    manager.start()

    task = manager.get_task_queue()
    result = manager.get_result_queue()
    for i in range(10):
        n = random.randint(0, 10000)
        print('Put task %d' % n)
        task.put(n)

    print('Try get results..')
    for i in range(10):
        r = result.get(timeout=10)
        print('Result:%s' % r)
    import time
  
    manager.shutdown()
    print('master exit.')

 taskworker.py

# taskworker.py

import time, sys, queue
from multiprocessing.managers import BaseManager



# 创建类似的QueueManager:
class QueueManager(BaseManager):
    pass

if __name__ == '__main__':
    # 由于这个QueueManager只从网络上获取Queue，所以注册时只提供名字:
    QueueManager.register('get_task_queue')
    QueueManager.register('get_result_queue')

    # 连接到服务器，也就是运行taskmanager.py的机器:
    server_addr = '127.0.0.1'
    print('Connect to server %s...' % server_addr)
    # 端口和验证码注意保持与taskmanager.py设置的完全一致:
    m = QueueManager(address=(server_addr, 5000), authkey=b'abc')
    # 从网络连接:
    m.connect()
    # 获取Queue的对象:
    task = m.get_task_queue()
    result = m.get_result_queue()
    # 从task队列取任务,并把结果写入result队列:
    for i in range(10):
        try:
            n = task.get(timeout=1)
            print('run task %d * %d...' % (n, n))
            r = '%d * %d = %d' % (n, n, n*n)
            time.sleep(1)
            result.put(r)
        except queue.Empty:
            print('task queue is empty.')
    # 处理结束:
    print('worker exit.')

ConnectionRefusedError: [WinError 10061] 由于目标计算机积极拒绝，无法连接。

出现这个情况在网上找了好多方法都无解，最后有一篇的 评论 给了灵感

https://segmentfault.com/q/1010000006258352

想象一下 127.0.0.1:5000 这个端口你启动了吗，

将  taskmanager.py  内添加时间休眠  time.sleep(20) 假定这个程序是一直启动的，而后启动  taskworker.py 这个程序，问题解决