Django+Celery部署TensorFlow模型

最新推荐文章于 2023-03-08 21:19:35 发布
原创 最新推荐文章于 2023-03-08 21:19:35 发布 · 1.3k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何利用Django和Celery部署TensorFlow模型，解决在异步任务中如何分配GPU资源避免显存爆满以及如何防止模型重复加载的问题。通过设置Celery任务队列和并发数，实现GPU资源的有效利用。同时，通过全局变量处理模型预加载和推理，确保模型只加载一次，简化了多GPU环境下的模型管理。

Django作为基本的Web框架，Celery用来处理异步任务，两者搭建分析服务器部署TensorFlow模型。（数据服务器通过POST请求与分析服务器进行任务发布和结果接收，这里不是重点。）在这里主要记录一下解决的两个问题：

1.我在utils.py中写好了TensorFlow的模型预测代码，我每次调用执行utils.py这个代码的时候，我想在不同的卡上执行。

出发点是为了充分利用celery处理异步任务的效率，因为每次模型推理的时候模型参数都需要加载到GPU中，如果不可以通过制定任务使用的GPU来合理分配资源，GPU肯定会爆显存。

解决办法是利用celery的任务队列特性，通过开启多个任务worker，然后在开启的时候制定使用的GPU，再对celery中的启动参数【-c】（也就是concurrency，表示最大并行子进程数目）进行合理的配置，就可以做到既不会爆显存，又可以让服务器上的GPU都利用起来。

CUDA_VISIBLE_DEVICES=0 nohup python manage.py celery worker -E -l info -n analyze --maxtasksperchild 100 -c 1 -Q analyze_task >analyze0.log 2>&1 &
CUDA_VISIBLE_DEVICES=1 nohup python manage.py celery worker -E -l info -n analyze --maxtasksperchild 100 -c 1 -Q analyze_task >analyze1.log 2>&1 &
CUDA_VISIBLE_DEVICES=2 nohup python manage.py celery worker -E -l info -n analyze --maxtasksperchild 100 -c 1 -Q analyze_task >analyze2.log 2>&1 &
CUDA_VISIBLE_DEVICES=3 nohup python manag
最低0.47元/天 解锁文章
Django部署pytorch模型的方案！
**My Coding Family**
07-22 729
🏆本文收录于 《全栈Bug调优(实战版)》 专栏，该专栏专注于分享我在真实项目开发中遇到的各类疑难Bug及其深层成因，并系统提供高效、可复现的解决思路和实操方案。无论你是刚入行的新手开发者，还是拥有多年项目经验的资深工程师，本专栏都将为你提供一条系统化、高质量的问题排查与优化路径，助力你加速成长，攻克技术壁垒，迈向技术价值最大化与职业发展的更高峰🚀！
【django】模型部署过程
qq_41767061的博客
03-03 1046
通过以上步骤，你可以将训练好的模型无缝集成到 Django 中，并通过 RESTful API 提供服务。在 myapp/apps.py 或 views.py 中初始化模型，避免每次请求重复加载。○ 如果模型非线程安全（如某些 TensorFlow 旧版本），需加锁或使用单例模式。│ ├── views.py # 处理请求和模型调用。│ ├── urls.py # 定义API路由。│ └── urls.py # 主路由。
深度学习Tensorflow生产环境部署（下·模型部署篇）
xingoo
01-03 5858
深度学习Tensorflow生产环境部署（下·模型部署篇） 前一篇讲过环境的部署篇，这一次就讲讲从代码角度如何导出pb模型，如何进行服务调用。 1 hello world篇 部署完docker后，如果是cpu环境，可以直接拉取tensorflow/serving，如果是GPU环境则麻烦点，具体参考前一篇，这里就不再赘述了。 cpu版本的可以直接...
Django和tensorflow结合
12-28
使用tensorflow和Django结合，使用服务器端实现图片内容分类的功能。 权重文件可以从我的百度云获得链接:https://pan.baidu.com/s/1jHYNANc 密码:xul1 其中full_yolo_backend.h5放在跟目录下，full_yolo_dudu.h5放在djangosite/media/models 运行命令：python manage.py runserver 页面显示：localhost:8000/upload 该分类器可以分出袋鼠，小浣熊和苹果三个类。
Django项目（八）——基于tensorflow serving部署深度模型——通过restful api通信
IDoWhatIDo_92761的博客
03-08 790
（metadata可以通过curl 或者 浏览器 访问http://127.0.0.1:8501/v1/models/savedmodel/metadata得到）启动后可以通过grpc或者restful传入数据并得到预测结果。windows中需要先安装WLS2，linux直接安装。交互的时候要注意格式，严格按照模型的输入模型进行交互。我使用的是restful的api。当然使用gRPC交互也行。
TensorFlow——在web.py、Django环境下TensorFlow（Keras、tf.keras）加载和使用多模型失败解决方案
无限迭代中......
01-27 1031
问题描述 Cannot interpret feed_dict key as Tensor: Tensor Tensor("Placeholder_8:0", shape=(3, 3, 128, 256), dtype=float32) is not an element of this graph ValueError: Variable conv1/weights already exists, disallowed. Did you mean to set reuse=True in Var
tensorflow.keras图像分类及django部署总结
m0_51402187的博客
02-21 860
版本: python 3.7.9 django 2.2 efficientnet 1.1.1 flask 1.1.1 h5py 2.10.0 keras 2.3.1 pillow 8.1.0 numpy 1.20.1 tensorflow-gpu 2.0.0 mysql 8.0.23 mysqlclient 1.3.14 软件： anaconda3 + Pycharm ，由anaconda3创建虚拟环境，并在Pycharm上对接 conda源： #清华源： conda config --add chann
train-ai-with-django-swagger-jwt：使用Django REST Framework + Celery + Swagger + JWT训练AI（Keras + Tensorflow）来防御应用程序-部署到Kubernetes和OpenShift Container Platform
02-05
在这个项目中，我们探讨了如何构建一个综合的AI防御系统，该系统利用Django REST Framework、Celery、Swagger和JWT来训练和应用机器学习模型，特别是深度神经网络（DNN）。我们将Keras和TensorFlow作为AI训练的核心...
精选资源
django-keras-app:-集成在Django中的Keras CNN模型
05-16
- 部署环境：确保生产环境中安装了所有必要的依赖库，如TensorFlow、Keras、Django等，并正确配置。 通过以上介绍，我们可以看出`django-keras-app`项目是将Django与Keras结合，利用CNN进行图像分类的一个实例。...
TensorFlow+Django实现在线目标检测系统
热门推荐
huangzhaoyu123的博客
03-02 1万+
***TensorFlow+Django***实现目标检测系统 第一次写博文，觉得不好大家多担待，其实一开始我也没想要做这个项目的demo，开始我只是做了基于官网提供的模型的tensorflow的目标识别demo，自己在本机把代码梳理实现了对输入图像的目标检测(窃喜，自我感觉良好)，然后我就想把这个demo给小伙伴们看看效果，然后开始我项目过程了。 第一部分 识别算法部分 直接给代码，导入项目需要...
Python-TensorFlow模型部署资料汇总
08-11
收集如何使用nginx，hadoop，kafka，flask，gunicorn，socketio，docker swarm，luigi spotify等部署tensorflow模型
机器学习模型部署的两种方式
04-29
机器学习模型部署的两种方式 ,There are two very different ways to deploy ML models。
simplifyML:Django搭建的机器学习平台
05-28
简树——在线机器学习平台 使用Django搭建的一个在线可视化机器学习平台
Deploying-ML-Models-with-Django:关于如何使用Django部署机器学习模型的中级文章教程
05-16
用Django部署ML模型 关于如何使用Django部署机器学习模型的中级文章教程 文章： :
ml_with_django:用于服务机器学习模型的django后端模板程序
05-15
ml_with_django ml_with_django是一个开源模板，用于通过django应用程序提供机器学习模型。 该项目还包含一个基于django-admin的几乎可用于生产环境的管理仪表板。 您仅需几个步骤，即可使用此模板非常快速地开发基于django的ml应用程序。 该项目使用tensorflow 1.8版本，该版本仍然依赖于旧api版本。 更新到当前的tensorflow版本可能会产生不兼容的冲突。 本文件的内容 截屏 图像管理的管理员后端 日志管理 用户和组权限的屏幕截图 设定（TBD） 移至设置。 预安装 python 3.6.5 点子 virtualenv或virtualwrapper 设置管理员用户并开始使用 默认情况下，Django将创建一个本地sqllite.db并将该数据库用于本地开发。 创建一个超级用户帐户，然后启动应用程序： $ m
基于Django框架与Tensorflow1、2框架下全连接神经网络在线手写数字识别
仅进行技术交流，不代写代码及其他
11-29 1578
       目的为整合所学知识，捡一下以前学习的代码，编程语言包括JavaScript、Python、HTML。涉及到神经网络、网页设计、网页异步加载，还有一些配置问题。只是个简单的demo，连准确率都不怎么在乎，主要是设计流程。 一、网页的设计 网页功能主要分为几块， 1.写数字的部分 2.显示结果的部分 3.提交部分 4.清除/重置按钮 1.写数字的部分       &nb
celery的部署
pengwupeng2008的专栏
08-03 774
1、特别说明     a、centos6.5 64     b、运行用户普通用户test      2、软件说明     a、celery 4.0.2      b、redis 2.8.17     c、python2.7.9      3、运行     a、编写一个tasks.py文件         from celery import Celery         a
python_tensorflow_Django实现逻辑回归
weixin_30457465的博客
01-11 286
1.工程概要 2.data文件以及input_data文件准备 链接：https://pan.baidu.com/s/1EBNyNurBXWeJVyhNeVnmnA 提取码：4nnl 3.logisstic_mnist.py def logistic_regression(): import tensorflow as tf import matplotlib...
python+django+tensorflow环境搭建
ve__locity的博客
05-03 1727
???? 启动 安装Python3.7.7 下载PyCharm 配置pip源 路径: C:\Users\Administrator\pip 内容: [global] index-url = https://mirrors.aliyun.com/pypi/simple/ [install] trusted-host=mirrors.aliyun.com ???? 配置环境 下载Python3 配置环境...
Django框架如何部署深度学习模型
最新发布
04-23
<think>好的，我需要帮助用户了解如何使用Django框架部署深度学习模型的最佳实践和教程。根据用户提供的引用内容，他们遇到了一些问题，特别是在使用uWSGI和Nginx部署时模型预测卡住的情况。我需要结合这些引用信息，给出清晰的步骤和解决方案。 首先，用户的问题主要集中在部署时无法调用model.predict()，而使用runserver却正常。这可能涉及到Django的启动方式不同导致的环境问题，比如多线程处理或TensorFlow的会话冲突。我需要考虑这些可能性，并在最佳实践中提到如何避免。 接下来，我需要组织回答的结构。用户需要最佳实践和教程，所以分步骤讲解比较合适。步骤可能包括环境准备、模型封装、视图函数编写、异步处理、部署配置和监控等。同时，需要引用用户提供的例子，比如路由配置和预测函数的代码，但确保代码示例正确，并解释关键点。 另外，用户引用的内容提到使用uWSGI和Nginx时的问题，可能涉及到同步和异步处理的问题。需要建议使用ASGI服务器如Daphne，或者配置uWSGI为异步模式，并设置合适的线程和进程参数。同时，要注意深度学习框架如TensorFlow在多线程环境中的使用，比如设置会话或使用单例模式。 还要考虑资源管理和异常处理，比如GPU内存释放和超时设置，避免部署时卡死。这部分需要给出具体的代码示例，比如中间件或装饰器的使用。 最后，生成相关问题，帮助用户深入理解可能遇到的其他问题，比如性能优化、异步任务处理、模型加载方式等。需要确保问题覆盖用户可能遇到的典型挑战，并引导他们进一步学习解决方案。 现在需要检查是否有遗漏点，比如模型序列化、依赖管理、安全考虑等。确保每个步骤都清晰，并参考用户提供的引用内容，特别是他们在路由和视图函数中的实现，指出需要注意的地方，比如确保模型加载不在每次请求时重复进行，避免内存泄漏。 总结下来，回答需要结构清晰，分步骤说明最佳实践，结合代码示例，并针对用户遇到的部署问题提供解决方案，如异步处理和服务器配置。同时，引用用户提供的例子，帮助他们理解如何在Django中正确集成深度学习模型。</think>以下是使用Django框架部署深度学习模型的分步指南，结合生产环境中的关键问题与解决方案： ### 一、部署架构设计原则 1. **环境隔离**：使用Python虚拟环境（推荐`venv`或`conda`），通过`requirements.txt`固化依赖版本 2. **模型加载优化**：避免在每次请求时重复加载模型，推荐使用单例模式初始化模型 ```python # models/load_model.py from tensorflow.keras.models import load_model import threading class ModelSingleton: _instance = None _lock = threading.Lock() def __new__(cls): with cls._lock: if not cls._instance: cls._instance = super().__new__(cls) cls._instance.model = load_model('path/to/model.h5') return cls._instance model_singleton = ModelSingleton() ``` ### 二、核心实现步骤 #### 1. 请求处理管道优化 ```python # views.py from django.http import JsonResponse from django.views.decorators.csrf import csrf_exempt from .models.load_model import model_singleton import time @csrf_exempt def predict(request): start_time = time.time() if request.method == 'POST': try: # 数据预处理 uploaded_file = request.FILES['file'] img_bytes = uploaded_file.read() # 模型预测 prediction = model_singleton.model.predict(preprocess(img_bytes)) # 返回结果时强制释放GPU内存 import tensorflow as tf tf.keras.backend.clear_session() return JsonResponse({ 'prediction': prediction.tolist(), 'inference_time': time.time() - start_time }) except Exception as e: return JsonResponse({'error': str(e)}, status=500) ``` #### 2. 异步任务处理（关键解决uWSGI卡死问题） ```python # tasks.py（需配置Celery） from celery import shared_task from .models.load_model import model_singleton @shared_task def async_predict(img_bytes): return model_singleton.model.predict(preprocess(img_bytes)).tolist() # views.py修改 @csrf_exempt def predict(request): if request.method == 'POST': task = async_predict.delay(request.FILES['file'].read()) return JsonResponse({'task_id': task.id}, status=202) ``` ### 三、生产环境配置要点 #### 1. uWSGI配置优化（uwsgi.ini） ```ini [uwsgi] http = :8000 module = myproject.wsgi master = true processes = 4 threads = 2 # 关键配置：启用异步模式 async = 1000 http-timeout = 300 harakiri = 300 ``` #### 2. TensorFlow与uWSGI兼容方案 ```python # wsgi.py 增加初始化代码 import tensorflow as tf from keras import backend as K # 初始化全局Session graph = tf.Graph() session = tf.Session(graph=graph) class TensorFlowMiddleware: def __init__(self, get_response): self.get_response = get_response def __call__(self, request): with graph.as_default(): with session.as_default(): return self.get_response(request) ``` ### 四、性能监控方案 1. **Prometheus监控指标**： ```python # monitoring/middleware.py from prometheus_client import Counter, Histogram REQUEST_COUNT = Counter( 'django_model_requests_total', 'Total model prediction requests' ) REQUEST_LATENCY = Histogram( 'django_model_latency_seconds', 'Prediction request latency' ) class MonitoringMiddleware: def __init__(self, get_response): self.get_response = get_response def __call__(self, request): if request.path == '/predict': REQUEST_COUNT.inc() timer = REQUEST_LATENCY.start_timer() response = self.get_response(request) timer.observe_duration() return response return self.get_response ``` ### 五、异常处理策略 1. **GPU内存泄漏防护**： ```python # utils/gpu_cleanup.py import tensorflow as tf from functools import wraps def release_gpu_memory(view_func): @wraps(view_func) def wrapper(request, *args, **kwargs): try: return view_func(request, *args, **kwargs) finally: # 强制释放GPU内存 tf.keras.backend.clear_session() # 针对PyTorch的释放逻辑 if 'torch' in globals(): import torch torch.cuda.empty_cache() return wrapper ```
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值