Python-模块和包.深入Celery之任务绑定/记录日志/自动重试

Celery任务重试机制
本文介绍了Celery中使用装饰器实现的任务重试机制,包括如何配置任务对象以捕获异常并进行重试,以及如何设置合理的重试间隔和最大重试次数。

异常处理:

1. 当装饰器@app.task添加bind=True时,被修饰的函数第一个参数被作为任务对象,通过self可获取任务的上下文,get_task_logger其实是调用的进线程安全的logging模块,用于终端打印调试.

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

#!/usr/bin/env python

# -*- coding: utf-8 -*-

@Date    : 2016-12-24 17:07:50

@Author  : 李满满 (xmdevops@vip.qq.com)

@Link    : http://xmdevops.blog.51cto.com/

# @Version : $Id$

from __future__ import absolute_import

# 说明: 导入公共模块

import socket

from celery.utils.log import get_task_logger

# 说明: 导入其它模块

from ..app import app

logger = get_task_logger(__name__)

@app.task(bind=True)

def send_mail(self, usr, sub, msg):

    logger.info(

        '''

        task_id    : {0.id}

        task_args  : {0.args!r}

        task_kwargs: {0.kwargs!r}

        '''.format(self.request)

    )

    try:

        raise socket.error

    except socket.error, e:

        self.retry(exc=e, countdown=5, max_retries=3)

    finally:

        pass

说明: 错误处理主要是为了重试一些由于网络抖动等原因导致的任务失败,推荐将每个可重试的任务添加一个重试时间和最大重试次数,其实既可以在self.retry中指定,也可在@app.task修饰器中添加.

注意: 运行时可以celery worker -A work.app -l info,然后打开另一个终端尝试from work.notify.email import send_mail;send_mail.delay('usr', 'sub', 'msg')触发任务,观察日志.

 

登录乐搏学院官网http://www.learnbo.com/

或关注我们的官方微博微信,还有更多惊喜哦~



本文出自 “满满李 - 运维开发之路” 博客,请务必保留此出处http://xmdevops.blog.51cto.com/11144840/1887499

转载于:https://my.oschina.net/learnbo/blog/842620

<think>我们有一整套Celery启动命令,括停止现有Celery进程、启动worker启动beat调度器。 问题:如何确保整个启动过程安全可靠,并且日志PID文件的权限正确(特别是以非root用户运行时)? 解决方案步骤: 1. 停止现有Celery进程:使用`kill -9`强制停止可能不可靠,建议使用更优雅的方式。 2. 启动worker:使用`celery multi start`启动worker,并指定日志PID文件。 3. 启动beat:使用`celery beat`启动调度器,并重定向输出。 同时,需要确保日志目录存在,并且日志文件PID文件的权限正确(例如,以用户`appadmin`运行,则文件应属于`appadmin`)。 我们将编写一个完整的启动脚本,含以下特性: - 安全停止(先尝试SIGTERM,再使用SIGKILL) - 预创建日志目录并设置权限 - 预创建日志文件并设置权限 - 启动workerbeat,并确保它们使用正确的文件权限 注意:由于我们可能以非root用户(如appadmin)运行,所以权限设置必须在启动前完成。 完整脚本如下:</think>### 安全可靠的 Celery 启动脚本解决方案 以下是完整的、安全可靠的 Celery 启动脚本,含停止现有进程、启动 worker beat 调度器,并确保日志权限: ```bash #!/bin/bash # celery_secure_start.sh - 完整安全的Celery启动脚本 # 配置参数 APP_DIR="/home/appadmin/shell/usm/usm_tk_online2/usm" LOG_DIR="${APP_DIR}/../usm_logs" CELERY_LOG="${LOG_DIR}/celery_task.log" CELERY_PID="${LOG_DIR}/celery_task.pid" BEAT_LOG="${LOG_DIR}/celery_out.file" BEAT_SCHEDULE="${LOG_DIR}/celerybeat-schedule" BEAT_PID="${LOG_DIR}/celerybeat.pid" # 切换到应用目录 cd "$APP_DIR" || { echo "无法进入目录: $APP_DIR"; exit 1; } # 创建日志目录(如果不存在) mkdir -p "$LOG_DIR" || { echo "无法创建日志目录: $LOG_DIR"; exit 1; } # 设置目录权限 chown -R appadmin:appadmin "$LOG_DIR" chmod 775 "$LOG_DIR" # 1. 安全停止现有Celery进程 echo "停止现有Celery进程..." pids=$(ps auxww | grep celery | grep -v grep | awk '{print $2}') if [ -n "$pids" ]; then # 先尝试SIGTERM正常关闭 kill -15 $pids 2>/dev/null sleep 5 # 检查是否还有进程存在 remaining=$(ps auxww | grep celery | grep -v grep | awk '{print $2}') if [ -n "$remaining" ]; then # 强制终止剩余进程 kill -9 $remaining 2>/dev/null sleep 2 fi fi # 2. 预创建并设置日志文件权限 for file in "$CELERY_LOG" "$BEAT_LOG"; do touch "$file" chown appadmin:appadmin "$file" chmod 664 "$file" done # 3. 启动Celery worker echo "启动Celery worker..." celery multi start work_1 -A celery_task \ --logfile="$CELERY_LOG" \ --pidfile="$CELERY_PID" \ --loglevel=info # 设置PID文件权限 sleep 2 if [ -f "$CELERY_PID" ]; then chown appadmin:appadmin "$CELERY_PID" chmod 664 "$CELERY_PID" echo "Worker PID: $(cat "$CELERY_PID")" else echo "警告: Worker PID文件未创建" fi # 4. 启动Celery beat调度器 echo "启动Celery beat调度器..." # 预创建beat相关文件 touch "$BEAT_SCHEDULE" chown appadmin:appadmin "$BEAT_SCHEDULE" "$BEAT_PID" chmod 664 "$BEAT_SCHEDULE" # 启动beat并重定向输出 celery beat -A celery_task \ -s "$BEAT_SCHEDULE" \ --pidfile="$BEAT_PID" > "$BEAT_LOG" 2>&1 & # 检查beat是否启动成功 beat_pid=$! sleep 2 if ps -p $beat_pid > /dev/null; then echo "Beat PID: $beat_pid" echo $beat_pid > "$BEAT_PID" # 确保PID文件正确 else echo "错误: Beat启动失败,请检查日志: $BEAT_LOG" fi echo "Celery启动完成" echo "Worker日志: $CELERY_LOG" echo "Beat日志: $BEAT_LOG" ``` ### 关键改进说明 1. **安全停止现有进程**: ```bash # 先尝试正常终止 kill -15 $pids sleep 5 # 强制终止剩余进程 kill -9 $remaining ``` - 使用SIGTERM(15)给进程正常关闭的机会 - 5秒后检查剩余进程,使用SIGKILL(9)强制终止 2. **完整的目录权限管理**: ```bash # 创建日志目录 mkdir -p "$LOG_DIR" # 设置目录权限 chown -R appadmin:appadmin "$LOG_DIR" chmod 775 "$LOG_DIR" # 预创建并设置文件权限 touch "$file" chown appadmin:appadmin "$file" chmod 664 "$file" ``` 3. **Beat调度器的可靠启动**: ```bash # 预创建beat相关文件 touch "$BEAT_SCHEDULE" chown appadmin:appadmin "$BEAT_SCHEDULE" "$BEAT_PID" # 启动并重定向输出 celery beat ... > "$BEAT_LOG" 2>&1 & # 手动保存PID echo $beat_pid > "$BEAT_PID" ``` - 解决`celery beat`可能不立即创建PID文件的问题 - 确保日志重定向含标准错误(2>&1) 4. **全面的错误检查**: ```bash cd "$APP_DIR" || { echo "无法进入目录: $APP_DIR"; exit 1; } mkdir -p "$LOG_DIR" || { echo "无法创建日志目录: $LOG_DIR"; exit 1; } if [ -f "$CELERY_PID" ]; then ... else ... fi if ps -p $beat_pid > /dev/null; then ... else ... fi ``` - 关键操作添加错误检查 - 提供明确的错误信息 ### 使用方式 1. 保存脚本为`celery_secure_start.sh` 2. 设置执行权限: ```bash chmod +x celery_secure_start.sh ``` 3. 以目标用户运行: ```bash sudo -u appadmin ./celery_secure_start.sh ``` ### 系统服务化方案(推荐) 创建systemd服务文件`/etc/systemd/system/celery.service`: ```ini [Unit] Description=Celery Service After=network.target [Service] User=appadmin Group=appadmin WorkingDirectory=/home/appadmin/shell/usm/usm_tk_online2/usm ExecStartPre=/bin/bash -c 'mkdir -p ../usm_logs && chown -R appadmin:appadmin ../usm_logs && chmod 775 ../usm_logs' ExecStart=/usr/local/bin/celery multi start work_1 -A celery_task --logfile=../usm_logs/celery_task.log --pidfile=../usm_logs/celery_task.pid ExecStartPost=/bin/bash -c 'sleep 2; [ -f ../usm_logs/celery_task.pid ] && chown appadmin:appadmin ../usm_logs/celery_task.pid' ExecStart=/usr/local/bin/celery beat -A celery_task -s ../usm_logs/celerybeat-schedule --pidfile=../usm_logs/celerybeat.pid StandardOutput=append:../usm_logs/celery_out.file StandardError=append:../usm_logs/celery_error.file Restart=always RestartSec=10 [Install] WantedBy=multi-user.target ``` 启用服务: ```bash sudo systemctl daemon-reload sudo systemctl enable celery sudo systemctl start celery ``` ### 日志轮转配置 添加日志轮转配置`/etc/logrotate.d/celery`: ```conf /home/appadmin/shell/usm/usm_logs/*.log { daily missingok rotate 30 compress delaycompress notifempty create 664 appadmin appadmin sharedscripts postrotate systemctl kill -s HUP celery.service >/dev/null 2>&1 || true endscript } ``` ### 验证脚本 ```bash #!/bin/bash # verify_celery.sh - 验证Celery运行状态 APP_DIR="/home/appadmin/shell/usm/usm_tk_online2/usm" LOG_DIR="${APP_DIR}/../usm_logs" check_process() { local name=$1 local pid_file=$2 if [ ! -f "$pid_file" ]; then echo "$name: PID文件不存在 - $pid_file" return 1 fi local pid=$(cat "$pid_file") if ps -p "$pid" > /dev/null; then echo "$name: 运行中 (PID: $pid)" return 0 else echo "$name: 进程不存在 (PID: $pid)" return 1 fi } echo "=== Celery 状态检查 ===" check_process "Worker" "${LOG_DIR}/celery_task.pid" check_process "Beat" "${LOG_DIR}/celerybeat.pid" echo -e "\n=== 日志文件检查 ===" ls -l "${LOG_DIR}" echo -e "\n=== 最后日志条目 ===" tail -n 20 "${LOG_DIR}/celery_task.log" tail -n 20 "${LOG_DIR}/celery_out.file" ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值