zeroMQ初体验-10.优雅的使用多线程

最新推荐文章于 2024-08-28 15:30:04 发布

最新推荐文章于 2024-08-28 15:30:04 发布 · 899 阅读

文章标签：

#多线程 #Socket #Python #thread #Erlang

MQ 专栏收录该内容

37 篇文章

订阅专栏

本文探讨了ZeroMQ作为高效多线程运行环境的优势，通过去锁化设计确保数据在同一时刻仅由一个线程持有，避免了传统多线程中常见的同步问题。文章提供了两个Python示例，展示了应答模式和服务流程的实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

"或许，ZeroMQ是最好的多线程运行环境！"官网如是说。

其实它想要支持的是那种类似erlang信号模式。传统多线程总会伴随各种"锁"出现各种稀奇古怪的问题。而zeroMQ的多线程致力于"去锁化"，简单来说，一条数据在同一时刻只允许被一个线程持有(而传统的是：只允许被一个线程操作)。而锁，是因为可能会出现的多线程同时操作一条数据才出现的副产品。从这里就可以很清晰的看出zeromq的切入点了，通过线程间的数据流动来保证同一时刻任何数据都只会被一个线程持有。

这里给出传统的应答模式的例子：
[img]http://github.com/imatix/zguide/raw/master/images/fig21.png[/img]


import time
import threading
import zmq

def worker_routine(worker_url, context):

    socket = context.socket(zmq.REP)

    socket.connect(worker_url)

    while True:

        string  = socket.recv()
        print("Received request: [%s]\n" % (string))
        time.sleep(1)

        socket.send("World")

def main():    
    url_worker = "inproc://workers"
    url_client = "tcp://*:5555"

    context = zmq.Context(1)

    clients = context.socket(zmq.XREP)
    clients.bind(url_client)

    workers = context.socket(zmq.XREQ)
    workers.bind(url_worker)

    for i in range(5):
        thread = threading.Thread(target=worker_routine, args=(url_worker, context, ))
        thread.start()

    zmq.device(zmq.QUEUE, clients, workers)

    clients.close()
    workers.close()
    context.term()

if __name__ == "__main__":
    main()

这样的切分还有一个隐性的好处，万一要从多线程转为多进程，可以非常容易的把代码切割过来再利用。
这里还给了一个用多线程不用多进程的理由：
进程开销太大了(话说,python是鼓励多进程替代线程的)。

上面代码给出的例子似乎没有子线程间的通信啊？既然支持用多线程，自然不会忘了这个：
[img]http://github.com/imatix/zguide/raw/master/images/fig22.png[/img]


import threading
import zmq

def step1(context):
    sender = context.socket(zmq.PAIR)
    sender.connect("inproc://step2")   
    sender.send("")  

def step2(context):
    receiver = context.socket(zmq.PAIR)
    receiver.bind("inproc://step2")

    thread = threading.Thread(target=step1, args=(context, ))
    thread.start()

    string = receiver.recv()

    sender = context.socket(zmq.PAIR)
    sender.connect("inproc://step3")
    sender.send("")

    return

def main():
    context = zmq.Context(1)

    receiver = context.socket(zmq.PAIR)
    receiver.bind("inproc://step3")

    thread = threading.Thread(target=step2, args=(context, ))
    thread.start()

    string = receiver.recv()

    print("Test successful!\n")

    receiver.close()
    context.term()

    return

if __name__ == "__main__":
    main()