Celery任务开发实战：确保任务单次执行的锁机制详解-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_01196/article/details/148360963

Celery任务开发实战：确保任务单次执行的锁机制详解

celery celery/celery: Celery 是一个用于分布式任务队列和后台任务调度的 Python 库，可以用于分布式计算和数据处理，支持多种消息队列和消息中间件，可以用于构建高并发，可扩展的分布式应用程序。项目地址: https://gitcode.com/gh_mirrors/ce/celery

引言

在分布式任务队列系统中，确保某些关键任务在同一时间只被一个工作节点执行是一个常见需求。本文将深入探讨如何在Celery中实现这种机制，通过一个实际的RSS订阅导入器案例，展示如何利用缓存锁来保证任务的独占执行。

问题背景

假设我们正在开发一个名为djangofeeds的RSS订阅导入系统，其中有一个关键任务import_feed负责将指定URL的订阅内容导入到Django的Feed模型中。在多工作节点的环境下，我们需要确保：

同一订阅URL不会被多个工作节点同时处理
即使任务意外中断，锁也能自动释放
系统能够优雅地处理锁冲突情况

解决方案设计

核心思路

我们采用缓存锁机制来实现任务的独占执行，具体方案如下：

锁标识生成：基于任务名称和订阅URL的MD5哈希生成唯一锁ID
原子性操作：利用缓存后端的add操作实现原子性锁获取
超时机制：设置合理的锁过期时间，防止死锁
安全释放：仅在锁有效期内且由当前任务持有时才释放锁

技术选型

缓存后端：选择支持原子add操作的后端（如memcached）
锁超时：设置为10分钟（可根据实际任务执行时间调整）
安全边际：提前3秒释放锁，避免边界条件问题

代码实现详解

锁管理上下文

@contextmanager
def memcache_lock(lock_id, oid):
    timeout_at = time.monotonic() + LOCK_EXPIRE - 3
    status = cache.add(lock_id, oid, LOCK_EXPIRE)
    try:
        yield status
    finally:
        if time.monotonic() < timeout_at and status:
            cache.delete(lock_id)

这段代码定义了一个上下文管理器，它：

计算锁的有效截止时间（当前时间+超时时间-3秒缓冲）
尝试原子性地添加锁（成功返回True，失败返回False）
在退出上下文时，仅在锁仍有效且由当前任务持有时才释放

任务实现

@task(bind=True)
def import_feed(self, feed_url):
    feed_url_hexdigest = md5(feed_url.encode()).hexdigest()
    lock_id = f'{self.name}-lock-{feed_url_hexdigest}'
    logger.debug('Importing feed: %s', feed_url)
    with memcache_lock(lock_id, self.app.oid) as acquired:
        if acquired:
            return Feed.objects.import_feed(feed_url).url
    logger.debug('Feed %s is already being imported by another worker', feed_url)

任务函数的关键点：