【triton-inference-server】 官方python_backend 文档及例子

已于 2024-07-01 18:11:24 修改
阅读量439 收藏
点赞数
分类专栏： AI入门与实战 文章标签： python 开发语言
于 2024-07-01 17:21:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/commshare/article/details/140100823
版权

https://github.com/triton-inference-server/python_backend#building-from-source

一。 从源码构建python_backend

root@ubuntu-server:/home/ubuntu/hzh# sudo apt-get install rapidjson-dev libarchive-dev zlib1g-dev
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
zlib1g-dev is already the newest version (1:1.2.11.dfsg-2ubuntu9.2
了解本专栏 订阅专栏 解锁全文 超级会员免费看
NVIDIA Triton官方系列文章汇总（已完结）
ZONGXP的博客
11-03 816
NVIDIA Triton官方系列文章汇总
【triton-inference-server】 官方python_backend 的AddSubNet PyTorch 例子分析
突围
07-01 955
# Create output tensors. You need pb_utils.Tensor # objects to create pb_utils.InferenceResponse.
Triton Inference Server 教程文档
gitblog_00411的博客
08-16 501
Triton Inference Server 教程文档 tutorials项目地址:https://gitcode.com/gh_mirrors/tutorials8/tutorials 1. 项目的目录结构及介绍 tutorials/ ├── client/ │ ├── python/ │ │ ├── simple_grpc_infer_client.py │ │ ├──...
AI模型部署：一文搞定Triton Inference Server的常用基础配置和功能特性
2401_85375298的博客
05-30 1545
数据维度配置数据类型配置模型状态管理模型版本管理服务端前处理服务端后处理执行实例设置和并发（见下一节）模型预热（见下一节）动态批处理（见下一节）因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【
Triton inference server系列(0)——相关资料整理
searobbers_duck的博客
04-23 692
Triton inference server系列(0)——相关资料整理 源文档：Triton inference server系列(0)——相关资料整理 各release版本信息 NVIDIA TensorRT nvidia的容器仓库：NVIDIA NGC Containers For Deep Learning Frameworks User Guide Pulling A Container NGC Images Running A Container nvidia的开发者blog ...
Triton python backend的BLS（商业逻辑脚本）
yyw794的专栏
12-27 1305
Triton的21.08开始，支持BLS功能，将model serving的和模型交互的代码，放入triton的python backend中。
【triton-inference-server】MONAI 的*Python backend BLS文档
突围
07-01 167
*Python backend BLS
【trition-server】python-backend 源码阅读
突围
07-05 171
trition-server
基于 Triton Inference Server 的算法服务
qq_42693842的博客
06-28 558
以目标检测为例定义输入输出: 参数名, 参数类型, 参数维度。
Triton教程 --- Triton架构
专注于人工智能领域的小何尚
06-15 1万+
下图显示了 Triton 推理服务器的高级架构。是一个基于文件系统的模型存储库，Triton 将使其可用于推理。推理请求通过或到达服务器，然后路由到适当的每个模型调度程序。Triton 实现了，可以在逐个模型的基础上进行配置。每个模型的调度器可选择执行推理请求的批处理，然后将请求传递给与模型类型对应的后端。后端使用批处理请求中提供的输入执行推理以生成请求的输出。然后返回输出。Triton 支持，允许 Triton 扩展新功能，例如自定义预处理和后处理操作，甚至是新的深度学习框架。
Triton教程 --- Triton 响应缓存
专注于人工智能领域的小何尚
06-23 2169
在本文档中，推理请求是模型名称、模型版本和输入张量（名称、形状、数据类型和张量数据），它们构成提交给 Triton 的请求。推理结果是推理执行产生的输出张量（名称、形状、数据类型和张量数据）。Triton 使用响应缓存来保存先前执行的推理请求生成的推理结果。Triton 将维护响应缓存，以便命中缓存的推理请求不需要执行模型来生成结果，而是从缓存中提取结果。对于某些用例，这可以显着减少推理请求延迟。Triton 使用推理请求的哈希值访问响应缓存，其中包括模型名称、模型版本和模型输入。
Triton Inference Server 使用教程
gitblog_00131的博客
08-09 311
Triton Inference Server 使用教程 server项目地址:https://gitcode.com/gh_mirrors/server/server 项目的目录结构及介绍 Triton Inference Server 的 GitHub 仓库结构如下： / ├── docs/ │ ├── examples/ │ ├── images/ │ └── ... ├── ...
Triton 项目使用教程
gitblog_00368的博客
08-10 534
Triton 项目使用教程 TritonTriton is a dynamic binary analysis library. Build your own program analysis tools, automate your reverse engineering, perform software verification or just emulate code.项目地址:http...
triton操作干货
skjmom的博客
08-13 822
Triton Inference Server 的自定义后端（backends）通常需要以共享库（SO库）的形式实现，这是因为 Triton 使用插件架构，可以加载和卸载这些库以实现不同的模型后端。作为实现后端的共享库。请求的URL应该是Triton Inference Server的推理端点，例如http://:/v2/infer，其中是服务器IP地址，是Triton的端口号。然而，Triton本身有一个主配置文件，通常是以YAML格式编写的，用于定义Triton推理服务的整体配置，包括多个模型的配置。
Triton Inference Server PyTorch 后端使用教程
gitblog_00905的博客
08-25 501
Triton Inference Server PyTorch 后端使用教程 pytorch_backend项目地址:https://gitcode.com/gh_mirrors/py/pytorch_backend 1. 项目的目录结构及介绍 . ├── github │ └── workflows │ ├── cmake │ └── src ├── tools │...
triton server使用python backend部署chatglm3-6b-32k
cm2010_03_31的博客
02-02 1997
最近在做一个RAG的项目，尝试多种模型以后，发现chatglm3-6b-32k在中文领域明显优于其它模型，基于transformer在测试环境验证后需要生产环境部署，这就需要用到英伟达的triton server。/home/server/model_repository目录结构如下，我只放了一个模型，__pycache__和work目录不用管它，这两个目录是运行triton以后自动生成的。目录1是模型版本，目录1下面放着huggingface下载下来的模型和model.py（运行脚本）文件。
首个完整 Triton 中文文档上线！开启 GPU 推理加速新时代
HyperAI超神经
10-14 1354
Triton中文百宝书上线啦
NVIDIA之Triton Inference Server环境部署安装
热门推荐
ZONGXP的博客
09-27 1万+
0 背景 Triton是什么？Triton是 NVIDIA 推出的 Inference Server，专门做 AI 模型的部署服务。客户端可以同伙HTTP/REST或gRPC的方式来请求服务，特性包括以下方面： 支持多种框架，例如 Tensorflow、TensoRT、Pytorch、ONNX甚至自定义框架后端； 支持 GPU 和 CPU 方式运行，能最大化利用硬件资源； 容器化部署，集成 k8s，可以方便的进行编排和扩展； 支持并发模型，支持多种模型或同一模型的不同实例在同一GPU上运行 支持
6.跑一下Triton官方教程
天启的博客
08-24 1931
首先拉取官方示例代码。
k8s 部署大模型推理服务
最新发布
02-09
### 如何在Kubernetes上部署大型模型以提供推理服务 #### 准备环境 为了确保高效稳定的部署，需先准备好支持CUDA加速的GPU基础设施以及配置好Kubernetes集群。NIM已经过严格验证和基准测试，在CUDA GPU加速的基础设施及各种环境下的Kubernetes分发版本中实现了安全可靠的高性能AI推理部署[^2]。 #### 部署方案设计 考虑到DNN推断的高度计算需求，合理的设计应包括但不限于选择合适的容器镜像、定义Pod资源配置请求与限制、设置自动扩展策略等措施来保障服务质量[^3]。 #### 使用Triton Inference Server 通过Triton Inference Server可以在Kubernetes之上轻松实现大规模分布式推理服务的构建。例如，MONAI项目中的Python backend BLS文档提供了关于如何利用Triton部署医疗影像AI推理流水线的具体实例[^4]。这表明可以通过相似的方法针对其他类型的深度学习模型创建高效的推理服务器。 #### 自动化运维工具的应用 借助Helm图表或其他CI/CD集成工具能够进一步简化复杂系统的持续交付流程；同时Prometheus搭配Grafana可用于监控性能指标并及时响应异常情况。 ```yaml apiVersion: apps/v1 kind: Deployment metadata: name: triton-deployment spec: replicas: 3 selector: matchLabels: app: triton template: metadata: labels: app: triton spec: containers: - name: triton-container image: nvcr.io/nvidia/tritonserver:<version>-py3 resources: limits: nvidia.com/gpu: 1 # 根据实际情况调整GPU数量 ports: - containerPort: 8000 envFrom: - configMapRef: name: triton-configmap --- apiVersion: v1 kind: Service metadata: name: triton-service spec: type: LoadBalancer ports: - port: 8000 targetPort: 8000 selector: app: triton ``` 此YAML文件片段展示了一个简单的Trition Inference Server Kubernetes部署配置例子，其中指定了三个副本用于高可用性和负载均衡，并设置了相应的端口映射和服务发现机制。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

等风来不如迎风去

你的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值