安装和使用celery

1、安装celery
pip install celery
这个需要说明的就是为了避免开发环境造成污染,最好养成建立虚拟环境的的习惯,推荐使用virtualenv和pyenv等虚拟环境建立工具和Python版本管理工具。
2、使用celery

import time


def add(x, y):
    print 'enter call func...'
    time.sleep(7)
    return x + y


if __name__ == '__main__':
    print 'start task...'
    result = add(2, 6)
    print 'end task...'
    print result.get()

这里我们进行一个耗时任务,可以清楚的看到程序每次执行到‘enter call fun…’的时候都会等待7秒才会接着执行,给人的体验非常不好。那么就可以使用上celery了。
①:首先新建一个tasks.py文件用来进行异步处理:

import time
from celery import Celery

broker = 'amqp://guest:guest@localhost:5672/'
backend = 'redis://localhost:6379/'
app = Celery('my_task', broker=broker, backend=backend)


@app.task
def add(x, y):
    print 'enter call func...'
    time.sleep(7)
    return x + y

这里就是先新建一个celery的对象broker是消息中间件可以是rabitmq和redis的任意一种
backend是执行之后的结果存储的地方这里我用redis。然后给要执行的异步函数加上@app.task这个装饰器。
②:其次就是在调用的函数后面加上.delay这个方法代表异步处理。

 result = add.delay(2, 6)
③:最后就是开启celery的worker来消费队列中的任务:
celery worker -A celery的配置文件(这里是task)-l INFO
这样就简单的使用celery处理了一次异步任务。
### Celery 使用 RabbitMQ 时的正确配置以避免 'Unknown result backend: amqp' 错误 #### 配置 Celery RabbitMQ 的关键点 在使用 Celery RabbitMQ 时,`Unknown result backend: amqp` 错误通常是因为结果后端配置不正确。Celery 支持多种结果后端,如 RPC、Redis、数据库等,但 `amqp` 并不是推荐的结果后端选择。以下是正确的配置方法[^1]。 #### 配置示例 以下是一个完整的 Celery 配置示例,用于避免上述错误: ```python from celery import Celery # 创建 Celery 实例 app = Celery( 'my_project', # 应用名称 broker='amqp://guest:guest@localhost:5672//', # RabbitMQ 的连接地址 backend='rpc://' # 使用 RPC 作为结果后端 ) # 配置其他选项 app.conf.update( task_serializer='json', # 任务序列化格式 result_serializer='json', # 结果序列化格式 accept_content=['json'], # 允许的内容类型 timezone='UTC', # 设置时区 enable_utc=True # 启用 UTC 时间 ) ``` 在此配置中,`backend='rpc://'` 表示使用 RPC 作为结果后端,这是一种轻量级的结果传递方式,适合简单场景[^1]。 #### RabbitMQ 的安装与配置 确保 RabbitMQ 已正确安装并运行。可以通过以下命令检查其状态: ```bash sudo rabbitmqctl status ``` 如果需要安装 RabbitMQ,可以参考以下命令完成前置条件配置[^2]: ```bash curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh | sudo bash ``` #### 定义任务 在 `tasks.py` 文件中定义一个简单的任务示例: ```python from my_project.celery import app @app.task def add(x, y): """两数相加的异步任务""" return x + y ``` 此代码片段展示了如何定义一个简单的任务,并将其注册到 Celery 中[^3]。 #### 测试任务 启动 Celery 工作线程以测试任务是否正常工作: ```bash celery -A my_project worker -l info ``` 调用任务并验证结果: ```python from tasks import add result = add.delay(4, 6) print(result.get()) # 输出 10 ``` #### 注意事项 - 如果需要持久化任务结果,建议使用 Redis 或数据库(如 SQLAlchemy、Django ORM)作为结果后端。 - `amqp` 结果后端的一个限制是结果只能被检索一次。如果有多个进程尝试检索相同的结果,可能会导致数据丢失[^4]。 --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值