本文探讨了如何利用celery支持的多线程和协程（特别是gevent）来提高任务队列的性能和稳定性。通过设置celery的并发模式为gevent，可以实现轻量级的并发，避免上下文切换的开销，从而在某些任务场景下获得比线程池更好的性能。同时，文章提醒，如果任务中包含不支持gevent的模块，可能会导致堵塞问题。建议根据任务类型选择合适的并发策略。
前言：
有朋友问我，我那个任务队列是怎么实现，他的疑问其实主要是celery不支持多线程。先说说我那实现的方法，其实我的做法和celery、rq这样的框架很像的，都是把任务push到队列里面，然后pull取出任务而已，celery里面还可以取任务，我这个是通过传送uuid来实现的。 朋友问celery不支持多线程，那是他没有好好看文档。celery是支持多任务并发的，哎。。。 好好看文档呀。
原文：http://rfyiamcool.blog.51cto.com/1030776/1530826
队列存储brokers用的是rabbitmq，后面测试下用mongodb搞搞。我这里做个测试：
下面是tasks.py文件，也就是celery能支持异步的函数。
|
1
2
3
4
5
|
@app.task
|
最低0.47元/天 解锁文章
扫一扫
2901
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
