使用MRQ实现多机并发执行任务

最新推荐文章于 2021-03-25 13:46:18 发布

Luts

最新推荐文章于 2021-03-25 13:46:18 发布

阅读量288

点赞数

分类专栏： python学习

本文链接：https://blog.youkuaiyun.com/yiluoyan/article/details/114751503

版权

本文介绍了如何利用MRQ（一个Python库）在多机环境中并发执行任务。MRQ依赖于MongoDB和Redis，需要安装这两个服务。安装MRQ后，通过配置`mrq-config.py`文件，可以使用Task API的`Task.run`接口定义任务，以及Job API的`queue_job`方法将任务放入执行队列。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

MRQ：https://github.com/pricingassistant/mrq

服务依赖

Python 2.7+
MongoDB >= 2.4
Redis >= 2.6

MRQ依赖redis和mongodb，需要分别安装mongodb，redis
安装mrq直接使用：pip install mrq

服务配置

参考：https://github.com/pricingassistant/mrq/blob/master/docs/configuration.md

mrq-config.py:

#!/usr/bin/env python
# coding=utf-8
"""mongodb 配置"""
MONGODB_JOBS = "mongodb://127.0.0.1:27017/mrq"
"""Redis配置"""
REDIS = "redis://127.0.0.1:6379"
"""mrq-worker配置"""
QUEUES = ("test1", "default") # The queues to listen on.Defaults to default , which will listen on all queues.
GREENLETS