NVIDIA Triton系列04-创建模型仓

NVIDIA Triton系列04-创建模型仓

B站:肆十二-的个人空间-肆十二-个人主页-哔哩哔哩视频 (bilibili.com)

博客:肆十二-优快云博客

问答:(10 封私信 / 72 条消息) 肆十二 - 知乎 (zhihu.com)

**推理模型仓(inference model repository)**是 Triton 推理服务器的最基础元件,如同数据库(database)服务器必须先创建一个数据库是类似的道理。要使用 Triton 推理服务器的第一件任务,就是先创建一个模型存储仓来作为服务器的组织中心,将所需的模型、配置文件和其他资源都位于这个存储仓中,才能让 Triton 进行推理任务。

进入 https://github.com/triton-inference-server/server/tree/main/docs 这个最完整的说明文件区,在 “User Guide” 里的前 5 个步骤,就是为 Triton 服务器创建与管理模型仓的任务,依序如下:

创建模型储存仓(Creating a Model Repository)

撰写模型配置文件(Writing a Model Configuration)

创建模型的流水线(Buillding a Model Pipeline)

管理模型可用性(Managing Model Availablity)

收集服务器指标(Collecting Server Metrics)

本文先带着读者创建模型存储仓,这是执行 Triton 服务器之前必须执行的环节,另外四个部分会在后续文章中陆续探索。

这个储存仓的要求相对简单,只要是常用的文件系统就行,包括企业内部使用的 Windows NTFS 或 Linux ext3/4 文件服务器,也

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

肆十二

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值