解决Pytorch模型在Gunicorn部署无法运行或者超时问题

Ang_Quantum

于 2022-01-14 15:55:09 发布

阅读量1.9k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/Ang_Quantum/article/details/122496024

在尝试使用Flask+Gunicorn部署包含Pytorch文本生成模型的应用时，遇到请求接口超时的问题。经过排查，发现原因是Gunicorn的`preload_app=True`与Pytorch存在冲突。解决方案是将`preload_app`设置为`False`，以避免共享内存机制与Pytorch的不兼容，从而成功部署应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

@TOC解决Pytorch模型在Gunicorn部署无法运行或者超时问题

问题描述

训练出了一个Pytorch 文本生成模型，想要用Flask+Gunicorn的方法部署。但是请求模型进行生成的接口时，一直没有结果，最后导致timeout。

我的模型生成接口大概长这样：

model = load_model() #load_model会返回一个pytorch模型

@app.route('/generate')
def generate_texts():
    text

最低0.47元/天解锁文章

200万优质内容无限畅学