K8s环境使用Triton实现云端模型推理

coder86

已于 2023-05-28 14:50:58 修改

阅读量1.7k

点赞数

分类专栏： k8s 文章标签： kubernetes 容器云原生

于 2023-05-27 15:43:48 首次发布

本文链接：https://blog.youkuaiyun.com/jack__love/article/details/130603910

版权

该文介绍了如何利用Helm在Kubernetes(K8s)集群上部署ResNet50PyTorch模型，包括创建模型目录、存储模型文件和配置文件，以及编写模型生成和配置脚本。此外，还展示了通过Triton推理服务进行HTTP调用进行模型推理的客户端脚本，实现对图片内容的识别。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前置条件：K8集群、helm

mkdir resnet50_pytorch

2、将模型文件、配置文件（输入、输出等）存到刚创建的目录下，resnet50_pytorch目录下文件层级结构如下

model-respository/
└── resnet50_pytorch            # 模型名字，需要和config.txt中名字一致
    ├── 1                       # 模型版本号
    │   └── model.pt            # 上面保存的模型
    ├── config.pbtxt            # 模型配置文件，必需
    ├── labels.txt              # 可选，分类标签信息，注意格式
    ├── resnet_client.py        # 客户端脚本，可以不放在这里
    └── resnet_pytorch.py       # 生成 model.pt 的脚本，可以不放在这里

3、生成模型model.pt的脚本resnet_pytorch.py如下

import torch
import torchvision.models as models

resnet50 = models.resnet50(pretrained=True)
resnet50.eval()
image = torch.randn(1, 3, 244, 244)
resnet50_traced = torch.jit.trace(resnet50, image)
r