【python】gevent协程例子

最新推荐文章于 2025-09-06 09:26:50 发布

转载最新推荐文章于 2025-09-06 09:26:50 发布 · 155 阅读

文章标签：

#python #json

本文通过实验对比了使用协程与多线程处理大量网络请求的效率，结果显示对于100万个IP地址的请求任务，多线程的速度比协程快10倍以上。文章还提供了一个简单的协程实现示例。

说在前面：用协程还是多线程需要仔细考量。我在做实验时请求了100w个ip，分别用pool为1000的协程和64个线程来跑，结果是多线程的速度是协程的10倍以上。

一个简单的协程例子

#!/usr/bin/env python
#coding=utf-8

from gevent import monkey; monkey.patch_socket()
import gevent.pool
import gevent

def do_something(ip):  #在io时协程自动切换
    #request ip
    pass
    
def main():
    pool = gevent.pool.Pool(1000)
    f = open("a_lot_of_ip.json", "r")
    g = []
    for d in f.readlines():
        ip = d
        pool.add(gevent.spawn(do_something, ip))
    f.close()
    pool.join()
    
if __name__ == "__main__":
    main()