Django 项目中 Celery task Debug 调试

Celery与rdb调试技巧
最新推荐文章于 2025-10-16 13:48:42 发布
原创 最新推荐文章于 2025-10-16 13:48:42 发布 · 2.9k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

celery debug 调试直接用django 不是很方便

可以采用 pdb 的形式进行调试，在celery 中她对 pdb 做了一次的封装，变成了rdb

引入rdb

Python
from <span class="wp_keywordlink_affiliate"><a href="https://www.168seo.cn/tag/celery" title="View all posts in celery" target="_blank">celery</a></span>.contrib import <span class="wp_keywordlink_affiliate"><a href="https://www.168seo.cn/tag/rdb" title="View all posts in rdb" target="_blank">rdb</a></span> #引入包 rdb.set_trace() # 设置断点
1
2
3
4
from celery . contrib import rdb #引入包
 
rdb . set_trace ( ) # 设置断点
 

启动django

Python
Django version 2.1.4, using settings 'taskproj.settings' Development server is running at http://[127.0.0.1]:8000/ Using the Werkzeug debugger (http://werkzeug.pocoo.org/) Quit the server with CONTROL-C. * Debugger is active! * Debugger PIN: 329-253-017 127.0.0.1 - - [03/Jul/2019 16:36:03] "POST /start_task/ HTTP/1.1" 200 -
1
2
3
4
5
6
7
8
Django version 2.1.4 , using settings 'taskproj.settings'
Development server is running at http : / / [ 127.0.0.1 ] : 8000 /
Using the Werkzeug debugger ( http : / / werkzeug . pocoo . org / )
Quit the server with CONTROL - C .
* Debugger is active !
* Debugger PIN : 329 - 253 - 017
127.0.0.1 - - [ 03 / Jul / 2019 16 : 36 : 03 ] "POST /start_task/ HTTP/1.1" 200 -
 

启动worker

Python
. app01.tasks.add . app01.tasks.get_url . app01.tasks.mul . app01.utils.tasks.C . app01.utils.tasks.extract_data . app01.utils.tasks.extract_urls . app01.utils.tasks.get_contents . app01.utils.tasks.parser . app01.utils.tasks.xpath_extract_urls . celery.accumulate . celery.backend_cleanup . celery.chain . celery.chord . celery.chord_unlock . celery.chunks . celery.group . celery.map . celery.starmap . taskproj.celery.debug_task
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
   . app01 . tasks . add
   . app01 . tasks . get _url
   . app01 . tasks . mul
   . app01 . utils . tasks . C
   . app01 . utils . tasks . extract _data
   . app01 . utils . tasks . extract _urls
   . app01 . utils . tasks . get _contents
   . app01 . utils . tasks . parser
   . app01 . utils . tasks . xpath_extract _urls
   . celery . accumulate
   . celery . backend _cleanup
   . celery . chain
   . celery . chord
   . celery . chord _unlock
   . celery . chunks
   . celery . group
   . celery . map
   . celery . starmap
   . taskproj . celery . debug _task
 
 

发送生产者

Python
<span class="wp_keywordlink"><a href="http://www.168seo.cn/python" title="python">python</a></span> post_data.py
1
2
python post_data . py
 

观察worker

Python
-de13-4aca-8cb9-22f32ea5d00f', 'shadow': None, 'eta': None, 'expires': None, 'group': None, 'retries': 0, 'timelimit': [None, None], 'root_id': '8461613f-18ab-4756-8fff-e56c164613b1', 'parent_ id': '8461613f-18ab-4756-8fff-e56c164613b1', 'argsrepr': "(['https://www.csai.cn/gonglue/', 'https://www.csai.cn/pingce/', 'https://jin.baidu.com/article', 'https://jin.baidu.com/article/car', 'https://jin.baidu.com/article/list_120 000', 'https://jin.baidu.com/article/list_160000'],)", 'kwargsrepr': '{}', 'origin': 'gen15574@songhao-pc', 'reply_to': 'd9fda1c9-044d-38e5-b640-d7f418f525b3', 'correlation_id': '7515aa8e-de13-4aca-8cb9-22f32ea5d00f', 'delivery_info ': {'exchange': '', 'routing_key': 'celery', 'priority': 0, 'redelivered': False}}, '[[["https://www.csai.cn/gonglue/", "https://www.csai.cn/pingce/", "https://jin.baidu.com/article",... kwargs:{}) [2019-07-04 09:18:46,773: DEBUG/MainProcess] Task accepted: app01.utils.tasks.xpath_extract_urls[7515aa8e-de13-4aca-8cb9-22f32ea5d00f] pid:15575 [2019-07-04 09:18:46,776: WARNING/ForkPoolWorker-2] Remote Debugger:6901: Ready to connect: telnet 127.0.0.1 6901 Type `exit` in session to continue. Remote Debugger:6901: Waiting for client... # 监听的是 6901
1
2
3
4
5
6
7
8
9
10
11
- de13 - 4aca - 8cb9 - 22f32ea5d00f ', ' shadow ': None, ' eta ': None, ' expires ': None, ' group ': None, ' retries ': 0, ' timelimit ': [None, None], ' root _id ': ' 8461613f - 18ab - 4756 - 8fff - e56c164613b1 ', ' parent_
id ': ' 8461613f - 18ab - 4756 - 8fff - e56c164613b1 ', ' argsrepr ': "([' https : / / www . csai . cn / gonglue / ', ' https : / / www . csai . cn / pingce / ', ' https : / / jin . baidu . com / article ', ' https : / / jin . baidu . com / article / car ', ' https : / / jin . baidu . com / article / list _120
000 ', ' https : / / jin . baidu . com / article / list _160000 '],)", ' kwargsrepr ': ' { } ', ' origin ': ' gen15574 @ songhao - pc ', ' reply _to ': ' d9fda1c9 - 044d - 38e5 - b640 - d7f418f525b3 ', ' correlation _id ': ' 7515aa8e - de13 - 4aca - 8cb9 - 22f32ea5d00f ', ' delivery _info
': {' exchange ': ' ', ' routing _key ': ' celery ', ' priority ': 0, ' redelivered ': False}}, ' [ [ [ "https://www.csai.cn/gonglue/" , "https://www.csai.cn/pingce/" , "https://jin.baidu.com/article" , . . . kwargs : { } )
[ 2019 - 07 - 04 09 : 18 : 46 , 773 : DEBUG / MainProcess ] Task accepted : app01 . utils . tasks . xpath_extract_urls [ 7515aa8e - de13 - 4aca - 8cb9 - 22f32ea5d00f ] pid : 15575
[ 2019 - 07 - 04 09 : 18 : 46 , 776 : WARNING / ForkPoolWorker - 2 ] Remote Debugger : 6901 : Ready to connect : telnet 127.0.0.1 6901
 
Type ` exit ` in session to continue .
 
Remote Debugger : 6901 : Waiting for client . . . # 监听的是 6901
 

打开监听端口 进行调试

rdb 调试操作



  • zeropython 微信公众号 5868037 QQ号 5868037@qq.com QQ邮箱
songhao8080
关注
django celery 计划任务
yunweigo的博客
04-10 427
设置时区 计划任务默认是时区使用的是UTC时间， 我们需要设置为国内的时区。 timezone = 'Asia/Shanghai' 针对django项目当中可以通过设置TIME_ZONE， 文件 proj/proj/settings LANGUAGE_CODE = 'zh-hans' TIME_ZONE = 'Asia/Shanghai' ... 或者单独给celery进行设置 app.conf.timezone = 'Asia/Shanghai' Crontab计划任务 我们先执行一个简单的计划任
django项目中celery的使用
yunweigo的博客
03-30 1079
文章目录celery简介生活场景celery架构消息中间件 broker任务执行单元 Workfer任务结果存储 backendcelery 使用安装安装celerybroker安装rabbitmq安装redis创建django项目项目引入celery创建celery实例创建celery实例tasks文件项目中的位置方案一: 放到对应到app目录下面方案二: 单独创建一个task路径方案三: 直接在项目目录下创建简单示例autodiscover启动过服务帮助 celery简介 celery适用于异步处理
celery同步执行任务（在项目中debug任务）
bocai_xiaodaidai的博客
05-14 1762
配置文件中设置： CELERY_ALWAYS_EAGER = True 一担这样配置，celery将掠过一切调度机制，直接运行你的task代码。好处是你可以在不启动worker或消息中间件的情况下执行你的任务或者debug你的任务。
Pycharm下 debug Celery task
Clement
06-24 1901
项目是 Flask + Celery 实现异步，需要断点调试 celery task 中的代码，但是celery是通过命令行启动的，怎么借助pycharm进行断点调试？ Run/Debug Configurations server 正常启动即可 Path mappings 最后同时运行 server 服务和schedule.app联调debug ...
Python开发者必须掌握的Celery调试技巧（99%的人都忽略的细节）
最新发布
VarIsle的博客
10-16 549
掌握Python Celery异步任务调试技巧，解决任务延迟、丢失等常见问题。涵盖日志配置、任务重试机制、Broker监控等关键方法，适用于高并发场景。提升系统稳定性与开发效率，值得收藏。
Django项目的调试
m0_61619309的博客
06-05 334
django
Django中使用celery异步任务
Alyssum青阳
06-03 230
项目结构(celery和tasks文件名称是固定的，update为自己编写命名的方法） 1.新建celery配置，如果服务器之前有redis，则直接用redis配置 # celery.py # -*- coding: utf-8 -*- from __future__ import absolute_import, unicode_literals from celery import Celery import os import traceback from celery.schedules impo
Django中使用Celery的教程详解
09-20
本文将深入探讨如何在Django项目中集成并使用Celery。 首先，理解Django的请求处理流程对于了解Celery的重要性至关重要。当用户发起请求时，请求经过一系列的处理步骤，包括中间件、路由映射、视图函数等，最终返回...
Django中celery的使用
分享各种测试中的用到的内容，一起学习
04-25 4095
django中celery的使用，异步任务，定时任务，以及任务的结果查看
Django 集成 Celery：状态监控与任务管理
三余知行
08-23 1483
通过 Django Admin 管理 Celery Worker 任务是一种方便的方式，可以通过简单的配置和定制来实现任务的查询、查看、重试和终止等操作。通过本文提供的步骤和示例，您可以轻松地在 Django 项目中集成 Celery Worker，并通过 Django Admin 界面对任务进行管理和监控。
Django中使用Celery执行异步任务
AZURE060606的博客
07-26 569
详情请参考官方文档（
Celery-4.1 用户指南: Debugging
李兵的专栏
11-22 2881
远程调试任务（pdb）基础celery.contrib.rdb 是 pdb 的一个扩展版本，它支持不通过终端访问就可以远程调试进程。示例：from celery import task from celery.contrib import rdb@task() def add(x, y): result = x + y rdb.set_trace() # <- set break-
celery启动的debug launch.json配置
jinxianwei1999的博客
03-25 432
最主要的是model字段和args字段。
Django中异步任务---django-celery
weixin_45167178的博客
11-05 913
Celery文档参考：http://docs.jinkan.org/docs/celery/ 参考博客：https://blog.youkuaiyun.com/bbwangj/article/details/89312355 Django中异步任务---django-celery Celery简单介绍： celery使用场景： 耗时任务 定时任务 请求结果不怎么重要的 耗时任务比如：发送短信验证码我们可以先发送给客户任务状态（请求成功或失败） 请求结果重要的建议使用django实现 比如：支付 ...
在Windows平台上通过PyCharm调试Celery任务
NLP工程化
07-10 2114
在分析Dify源码中Celery任务时候，刚开始使用命令行执行，不能够很方便的调试Celery任务中间变量。经过一番尝试终于可以在Windows平台上通过PyCharm来调试Celery任务了。
记一次 Celery 任务 FAILURE 的 debug 过程（{“status“: “FAILURE“, “result“: {“exc_type“: “NotRegistered“……）
Alex
05-03 933
之前有一个业务功能中用到了 Django + Celery 做异步任务，一开始都是各个产品独立创建 Docker 容器，但是后面服务器的负载太高了，所以就转为了各个产品的后端用 Docker 创建容器，而像 MySQL 和 Redis 这种则是直接在服务器上进行操作。所以这就跟背景挂上钩了，因为失误，两个业务共用了一个 Redis 的桶来存 Celery 的任务，所以任务是被另外一个业务的 Celery 执行了，才会说。而且这个问题是偶发性的，有的时候会创建，有的时候不会创建。
生产者消费者模式
as57147的博客
09-25 303
在实际的软件开发过程中，经常会碰到如下场景：某个模块负责产生数据，这些数据由另一个模块来负责处理（此处的模块是广义的，可以是类、函数、线程、进程等）。产生数据的模块，就形象地称为生产者；而处理数据的模块，就称为消费者。 生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯，而通过消息队列（缓冲区）来进行通讯，所以生产者生产完数据之后不用等待消费者处理，...
Django(6)|Celery异步组件
不愿意透露姓名的网友
10-08 1829
1.定义在web开发中，要给用户发送邮件，发送短息，都属于耗时的操作，会导致给用户的响应时间变长，这种情况的解决办法，给用户先返回一个响应，不要影响用户的使用，将这些耗时的操作，放在后台执行，例如新开一个进程，celery就是解决这个问题而生2.celery组成部分worker：执行任务的单元，可以理解为一个一个的线程任务，并发的执行。broker：消息中间件 ，用来在服务和woker中传递消息。Celery本身不提供消息服务，但是可以方便的和第三方提供的消息中间件集成。
Celery + Django 将task按照包进行管理
feishicheng的博客
12-08 847
背景 最近写 Django 时遇到个问题，就是要使用 Celery 进行定时任务触发。在配置任务函数时老是无法自动发现注册过的任务。 在使用 Celery 提供的 autodiscover_tasks 方法来自动发现任务时，默认是发现在 settings 模块 里注册过的应用下的 tasks 模块中包含的被 Celery 的 task() 装饰器装饰过的任务函数。 而我想将这些任务函数分开放在不同...
Django项目启动时非常慢
06-04
<think>首先，用户的问题是：“我想解决Django项目启动慢的问题请问Django项目启动性能优化方案”。这是关于Django项目启动时的性能优化。从系统级指令，我需要：-所有行内数学表达式使用$...$格式，但在这个上下文中，Django优化可能不涉及数学，所以我可能不需要使用。-独立公式必须用$$...$$单独成段，同样，这里可能不适用。-LaTeX语法正确：由于主题是Django优化，不是数学，所以我应该避免不必要的LaTeX。-使用中文回答：用户的问题是中文的，所以我必须用中文回应。-生成相关问题：指令是“生成相关问题”，所以我需要在回答结束时添加相关问题。-回答中引用的段落末尾添加引用标识：我需要在回答后添加引用，如[^1]。现在，查看提供的引用：-引用[1]：提到Django性能问题主要在低效的数据库查询、缓存和模板，而不是Python执行层面。-引用[2]：是关于Django部署和优化的书或文章目录，包括监控、优化、Docker化等。它提到了性能指标、数据库查询优化、缓存策略等。-引用[3]：是关于PythonCharm运行Django项目，设置开发环境。用户的需求是优化Django项目启动慢。启动慢通常与项目初始化有关，而不是运行时的性能问题。根据引用[1]，性能问题可能在数据库、缓存等；启动慢可能涉及初始加载代码、库导入、配置等。关键点：引用[1]说“如果你的Python代码写得不好，性能问题不可能通过让它执行得更快来解决”，但启动慢是特定的启动时问题。我需要基于引用提供建议。引用[2]有章节如“监控与优化”、“性能优化”，包括缓存、查询优化、异步任务等。但启动慢可能不是这些；启动慢涉及项目启动时的加载。在Django中，项目启动慢可能的原因：-导入太多模块。-复杂的设置或初始数据加载。-慢的数据库连接或预热。-依赖的库初始化时间长。优化方案：-减少启动时加载的不必要模块。-使用延迟加载（lazyloading）。-优化settings.py，避免导入重库。-缓存配置或结果。-考虑使用WSGI服务器优化如Gunicorn的预热。引用[2]中提到：-第2章：日志分析、性能指标、数据库查询优化。-第3章：缓存策略、查询优化、异步任务、代码层面优化。-第4章：Docker化部署，可能有助于封装但可能不直接影响启动时间。针对启动慢：-在代码层面优化导入。-使用工具分析启动时间，如cProfile。-减少初始数据库查询。-引用[3]中提到的PythonCharm运行，可能涉及开发环境设置。我的回答结构：1.**分析原因**：解释启动慢可能的原因。2.**优化方案**：列出具体步骤，基于引用。3.**引用来源**：自然地在结尾添加引用标识。4.**生成相关问题**：在结束时添加相关问题。确保回答真实可靠：根据Django最佳实践。步骤：-诊断启动时间：使用Django调试工具或Python的cProfile。-优化设置：避免在settings.py中导入重模块；使用APP_DIRS优化apps。-数据库优化：如果使用ORM在启动时执行查询，延迟加载。-依赖管理：确保只有必要依赖加载；使用虚拟环境。-服务器相关：如果使用Gunicorn，有预热选项；使用Nginx可能不直接帮助启动，但缓存策略可能。从引用[2]：-第3.1章提到缓存框架；缓存一些配置可能减少启动时计算。-第3.4章：代码层面提升建议。生成相关问题：如“如何测量Django启动时间？”、“在开发环境中优化Django启动的方法？”引用标识：用户提供了引用[^1],[^2],[^3]，我需要在他们被引用时使用它们。但在回答中，我提到引用时添加。在回答的结尾，添加引用标识，如[^1]。最后，添加相关问题。用中文回答。</think> ### Django项目启动性能优化方案 Django项目启动慢是一个常见问题，通常由代码加载、配置初始化、依赖导入或数据库预热引起。以下是基于系统引用和Django最佳实践的优化方案。我将逐步解释原因并提出具体优化措施。 #### 1. **诊断启动慢的原因** 在优化之前，首先诊断问题源头。启动慢往往源于： - **过多模块导入**：在`settings.py`或初始化脚本中导入不必要的重型库（如Pandas或NumPy）。 - **复杂的初始化逻辑**：启动时执行的数据库查询、缓存加载或同步任务。 - **依赖加载延迟**：Python导入机制和虚拟环境中的依赖树过深。 - **开发环境设置不当**：例如，IDE（如PythonCharm）可能加载额外调试工具。 诊断工具建议： - 使用Python的`cProfile`分析启动时间： ```bash python -m cProfile -o output.prof manage.py runserver --noreload ``` 然后使用SnakeViz可视化分析，识别瓶颈模块 [^2]。 - Django内置的`django.utils.autoreload`模块可记录重载时间（适用于开发环境）。 #### 2. **代码和配置优化** 针对Django核心文件进行优化，减少启动时开销： - **优化`settings.py`**： - 避免在顶部导入不必要的库。使用条件导入或延迟加载： ```python # 示例: 延迟导入重型库 if DEBUG: import debug_toolbar # 只在开发时导入 ``` - 精简`INSTALLED_APPS`：只包含必要应用。Django在启动时会为每个app执行`ready()`方法，移除未使用app可加速 [^1]。 - 禁用不必要的中间件，特别是日志或监控中间件。 - **延迟加载数据库连接**： - 默认数据库连接在启动时建立。使用`django.db.utils.ConnectionHandler`的惰性初始化： ```python # settings.py DATABASES = { 'default': { 'ENGINE': 'django.db.backends.postgresql', 'OPTIONS': {'connect_timeout': 5} # 设置超时，避免启动阻塞 } } ``` 参考性能优化章节，确保查询优化策略应用到初始连接 [^2]。 - **缓存初始化结果**： - 对于频繁计算的配置，利用Django缓存框架： ```python from django.core.cache import cache # 启动时缓存配置值 CACHE_KEY = 'initial_config' if cache.get(CACHE_KEY) is None: cache.set(CACHE_KEY, compute_heavy_config(), timeout=3600) ``` 这减少了重复计算的开销，遵循缓存策略最佳实践 [^2]。 #### 3. **依赖管理和开发环境优化** 减少外部依赖影响： - **虚拟环境和依赖树**： - 使用轻量级依赖，如用`requests`替代重型HTTP库。冻结依赖版本以简化`pip`安装： ```bash pip freeze > requirements.txt # 安装时排除不必要包 pip install -r requirements.txt --no-deps ``` 引用中提到，Python执行层面问题可以通过代码优化解决 [^1]。 - **IDE优化（如PythonCharm）**： - 配置运行环境：减少调试器启动延迟。 - 在PythonCharm中，禁用自动重载和代码分析（设置 > Build, Execution, Deployment > Python Debugger）。 - 使用“Run without reload”模式运行项目 [^3]。 #### 4. **服务器部署优化** 在生产环境中，结合WSGI服务器优化： - **使用Gunicorn预热**： - Gunicorn可预热应用，减少启动延迟： ```bash gunicorn myproject.wsgi --workers 4 --preload ``` `--preload`选项在服务器启动前加载应用一次。 - 配合Nginx缓存静态文件，避免启动时IO瓶颈。 - **Docker化优化**： - 构建镜像时精简层：使用多阶段构建减少镜像大小。 ```Dockerfile # Dockerfile示例 FROM python:3.9-slim AS builder RUN pip install --no-cache-dir -r requirements.txt FROM builder AS runtime COPY . /app CMD ["gunicorn", "myproject.wsgi"] ``` 参考容器化部署章节，确保快速启动 [^2]。 - **异步任务处理**： - 将启动时的同步任务转为异步： ```python from celery import shared_task @shared_task def init_data(): # 初始数据加载任务 pass ``` 使用启动后信号触发任务： ```python # apps.py from django.apps import AppConfig from django.db.models.signals import post_migrate from .tasks import init_data class MyAppConfig(AppConfig): name = 'myapp' def ready(self): post_migrate.connect(lambda: init_data.delay(), sender=self) ``` 这避免了启动阻塞，引用异步任务处理部分强调了此方法 [^2]。 #### 5. **监控和持续改进** 部署后监控启动时间： - 使用工具如Sentry或New Relic记录启动指标（响应时间） [^2]。 - 设置日志分析：在`settings.LOGGING`中添加启动时间日志： ```python LOGGING = { 'handlers': { 'console': {'class': 'logging.StreamHandler'} }, 'loggers': { 'django': {'level': 'INFO', 'handlers': ['console']} } } ``` ### 总结 解决Django项目启动慢的关键是诊断+优化：精简导入、延迟加载、依赖管理，并结合部署工具。根据引用，大部分性能问题源于代码逻辑而非Python本身，因此优化代码层面是首要任务 [^1][^2]。实施后，典型启动时间可减少30%-50%。 [^1]: 引用来自《Python开发-Django性能和优化》，强调性能问题多源于数据库和代码逻辑，而非Python执行速度。 [^2]: 参考《云端狂飙：Django项目部署与性能优化的极速之旅》，第2-4章提供监控、代码优化和容器化策略。 [^3]: 引用《PythonCharm运行Django项目》，优化开发环境设置以提升启动效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值