django中使用celery和rabbitmq

本教程详细介绍了如何在Django项目中整合Celery和RabbitMQ,实现异步任务处理。包括安装配置步骤、任务定义与执行、结果获取等关键环节。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

第一步先安装celery

pip install django-celery

第二步安装rabbitmq

sudo apt-get install rabbitmq-server

添加用户

sudo rabbitmqctl add_user 用户名 密码

将上一步增加的用户设为管理员

sudo rabbitmqctl set_user_tags 上一步的用户名 administrator

添加虚拟环境

sudo rabbitmqctl add_vhost vhost

设置用户在虚拟环境下有全部权限

sudo rabbitmqctl set_permissions -p vhost 用户名 ".*" ".*" ".*"

启动rabbitmq

rabbitmqctl start_app
rabbitmq-plugins enable rabbitmq_management
http://localhost:15672   登录rabbitmq

在django中使用
在settings同级目录下创建celery.py
在这里插入图片描述
在__init__,py中文件写入

from __future__ import absolute_import, unicode_literals
from .celery import app as celery_app

__all__ = ['celery_app']

在celery.py文件中写入

# coding:utf8
from __future__ import absolute_import

import os

from celery import Celery
from django.conf import settings

# set the default Django settings module for the 'celery' program.

# yourprojectname代表你工程的名字,在下面替换掉
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'yourprojectname.settings')

app = Celery('填写settings所在模块的目录名')
# Using a string here means the worker will not have to
# pickle the object when using Windows.
app.config_from_object('django.conf:settings')
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)

settings文件配置

import djcelery

djcelery.setup_loader()
CELERYBEAT_SCHEDULER = 'djcelery.schedulers.DatabaseScheduler'
CELERY_RESULT_BACKEND = 'amqp'
CELERY_ACCEPT_CONTENT = ['json']
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'
CELERY_BROKER_URL= 'amqp://rabbitmq用户名:密码@localhost:5672/vhost'
INSTALLED_APPS = [
	...
    'djcelery',
]

在自定义的app下创建tasks.py

from __future__ import absolute_import
from celery import shared_task


@shared_task
def add(x, y):
    print('test')
    print('zzz')
    return x + y

获取任务的返回值

res = add.delay(3, 4)
print(res.get())

运行celery-worker

python manage.py celery worker --loglevel=info
### Celery 使用 RabbitMQ 时的正确配置以避免 'Unknown result backend: amqp' 错误 #### 配置 Celery RabbitMQ 的关键点 在使用 Celery RabbitMQ 时,`Unknown result backend: amqp` 错误通常是因为结果后端配置不正确。Celery 支持多种结果后端,如 RPC、Redis、数据库等,但 `amqp` 并不是推荐的结果后端选择。以下是正确的配置方法[^1]。 #### 配置示例 以下是一个完整的 Celery 配置示例,用于避免上述错误: ```python from celery import Celery # 创建 Celery 实例 app = Celery( 'my_project', # 应用名称 broker='amqp://guest:guest@localhost:5672//', # RabbitMQ 的连接地址 backend='rpc://' # 使用 RPC 作为结果后端 ) # 配置其他选项 app.conf.update( task_serializer='json', # 任务序列化格式 result_serializer='json', # 结果序列化格式 accept_content=['json'], # 允许的内容类型 timezone='UTC', # 设置时区 enable_utc=True # 启用 UTC 时间 ) ``` 在此配置中,`backend='rpc://'` 表示使用 RPC 作为结果后端,这是一种轻量级的结果传递方式,适合简单场景[^1]。 #### RabbitMQ 的安装与配置 确保 RabbitMQ 已正确安装并运行。可以通过以下命令检查其状态: ```bash sudo rabbitmqctl status ``` 如果需要安装 RabbitMQ,可以参考以下命令完成前置条件配置[^2]: ```bash curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh | sudo bash ``` #### 定义任务 在 `tasks.py` 文件中定义一个简单的任务示例: ```python from my_project.celery import app @app.task def add(x, y): """两数相加的异步任务""" return x + y ``` 此代码片段展示了如何定义一个简单的任务,并将其注册到 Celery 中[^3]。 #### 测试任务 启动 Celery 工作线程以测试任务是否正常工作: ```bash celery -A my_project worker -l info ``` 调用任务并验证结果: ```python from tasks import add result = add.delay(4, 6) print(result.get()) # 输出 10 ``` #### 注意事项 - 如果需要持久化任务结果,建议使用 Redis 或数据库(如 SQLAlchemy、Django ORM)作为结果后端。 - `amqp` 结果后端的一个限制是结果只能被检索一次。如果有多个进程尝试检索相同的结果,可能会导致数据丢失[^4]。 --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值