【ai】triton-inference-server本地运行

等风来不如迎风去

已于 2024-06-14 11:57:09 修改

阅读量319

点赞数

CC 4.0 BY-SA版权

分类专栏： AI入门与实战文章标签：人工智能 elasticsearch 大数据

于 2024-06-14 11:56:57 首次发布

本文链接：https://blog.youkuaiyun.com/commshare/article/details/139630296

AI入门与实战专栏收录该内容

265 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

官方地址

下载源码 triton-inference-server/server

zhangbin@LAPTOP-Y9KP MINGW64 /x/02_triton_inf_server
$ git clone -b r24.05 https://github.com/triton-inference-server/server.git

Cloning into 'server'...
remote: Enumerating objects: 46395, done.
remote: Counting objects: 100% (1036/1036

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

等风来不如迎风去

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

【triton-inference-server】官方python_backend 的AddSubNet PyTorch 例子分析

突围

07-01

960

# Create output tensors. You need pb_utils.Tensor # objects to create pb_utils.InferenceResponse.

【triton-inference-server】MONAI 的*Python backend BLS文档

突围

07-01

173

*Python backend BLS

参与评论您还未登录，请先登录后发表或查看评论

tritonserver学习之一：triton使用流程

liupenglove的专栏

12-27

3810

进入client镜像，测试tritonserver推理。

triton入门实战

XD的博客

04-15

3050

这篇文章主要讲的是基于官方镜像及， pytorch script 格式模型，构建tritonserver 服务。

Yolov5缺陷检测/目标检测 Jetson nx部署Triton server

zachary_hao的博客

08-08

2095

安装triton server 的依赖包，如果不在jetson上使用triton 客户端可以不装triton client 的依赖。下载示例模型，cd 到home/tritonserver2.35.0-jetpack5.1.2/tritonserver/bin。模型train 一个自己的model, 我选用的是yolov5l6,略微大一些， best.pt 153.1MB。其实triton server 不用安装，直接下载解压开箱即用，要安装的是一堆依赖。修改638行default=[‘engine’]

Triton Inference Server 环境配置

qq_26815239的博客

11-28

1807

Triton Inference Server 环境配置，Ubuntu18.04，3090显卡，显卡驱动版本510.85.02，cuda版本11.6，docker版本20.10.12

技术解读｜Triton Server 基于 Dragonfly 加速分发模型

金融级分布式架构

04-16

567

Dragonfly GitHub:https://github.com/dragonflyoss/Dragonfly2本文主要解决在Triton Server模型拉取时，存在的中心化的模型仓库带宽瓶颈问题。当在 Triton Server 下载模型的时候，文件相对较大且会有并发下载模型的场景。这样很容易导致存储带宽被打满，从而引起下载过慢的情况，影响推理服务的使用。Triton Server ...

深度学习部署神器——triton-inference-server入门教程指北

强化学习曾小健

07-17

2199

肯定很多人想知道triton干啥的，学习这个有啥用？这里简单解释一下：triton可以充当服务框架去部署你的深度学习模型，其他用户可以通过http或者grpc去请求，相当于你用flask搭了个服务供别人请求，当然相比flask的性能高很多了triton也可以摘出C-API充当多线程推理服务框架，去除http和grpc部分，适合本地部署多模型，比如你有很多模型要部署，然后分时段调用，或者有pipeline，有了triton就省去你处理显存、内存和线程的麻烦注意，还有一个同名的。

深度学习部署神器——triton-inference-server开发教程指北

强化学习曾小健

12-10

1285

triton-2.0.0-cp310-cp310-win-amd64.whl

04-08

总而言之，"triton-2.0.0-cp310-cp310-win-amd64.whl" 是NVIDIA Triton Inference Server的一个版本，专为运行Python 3.10的Windows 64位系统设计，旨在提升AI推理效率，尤其适合需要高效处理和优化多模型的环境。...

triton inference server入门1

stephen147的博客

08-12

577

肯定很多人想知道triton干啥的，学习这个有啥用？triton可以充当服务框架去部署你的深度学习模型，其他用户可以通过http或者grpc去请求，相当于你用flask搭了个服务供别人请求，当然相比flask的性能高很多了triton也可以摘出C-API充当多线程推理服务框架，去除http和grpc部分，适合本地部署多模型，比如你有很多模型要部署，然后分时段调用，或者有pipeline，有了triton就省去你处理显存、内存和线程的麻烦注意，还有一个同名的triton。

NVIDIA之Triton Inference Server环境部署安装

最新发布

2302_81352523的博客

07-23

570

AI（人工智能）是使机器具备类人思考和解决问题能力的技术，其核心是Transformer神经网络模型（如GPT）。大模型应用结合传统编程实现记忆等复杂功能，应用开发技术包括Prompt问答、微调、Agent调用和RAG（外挂知识库），适用于客服、医疗、办公自动化等场景。AI通过数据训练掌握语言规律，处理模糊性问题，与传统程序互补形成强大应用。

统计与大数据分析与数学金融方向课程差异有哪些？如何提升职场竞争力？

LRQ2025的博客

07-23

634

统计与大数据分析和数学金融专业存在显著课程重叠（概率统计、编程、优化等），但主攻方向不同。统计侧重机器学习、大数据处理及广泛领域应用；数学金融则深入金融建模、衍生品定价等专业领域。建议新生结合兴趣（数据算法vs金融建模）与职业规划（数据科学家vs量化分析师），利用大一大二共同基础课程进行体验后选择。两个专业基础课高度相似，扎实掌握数学与编程核心能力是关键。

Mamba（SSM、S4、S4）

BigGod139的博客

07-23

687

状态空间模型SSM，20世纪60年代有卡尔曼等研究者提出，概念很在提出。连续SSM一般形式如下：State Equation：x′(t)=Ax(t)+Bu(t)x'(t) = Ax(t) + Bu(t)x′(t)=Ax(t)+Bu(t) 其中：Output Equation：y(t)=Cx(t)+Du(t)y(t) = Cx(t) + Du(t)y(t)=Cx(t)+Du(t) 或 y(t)=Cx(t)y(t) = Cx(t)y(t)=Cx(t) 其中：离散SSM一般形式如下：与连续SSM相比，x,t,u,

如何下载和部署 NVIDIA Triton Inference Server？

03-09

### NVIDIA Triton Inference Server 下载与部署教程 #### 安装 Docker 和 nvidia-docker 为了运行 Triton Inference Server，需要安装支持 GPU 的 Docker 环境。这可以通过安装 `nvidia-container-toolkit` 来实现，该工具包允许容器访问主机上的 GPU 资源。 ```bash distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list sudo apt-get update && sudo apt-get install -y nvidia-docker2 sudo systemctl restart docker ``` #### 获取并启动 Triton Inference Server 镜像通过官方提供的命令可以拉取最新的 Triton Inference Server Docker 镜像，并配置必要的参数以确保服务器能够正常工作[^4]： ```bash sudo docker pull nvcr.io/nvidia/tritonserver:<tag>-py3 sudo docker run --gpus all --rm --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 \ -p8000:8000 -p8001:8001 -p8002:8002 \ -v/path/to/model/repository:/models \ nvcr.io/nvidia/tritonserver:<tag>-py3 tritonserver --model-repository=/models ``` 其中 `<tag>` 是指具体的版本标签，例如 `20.09` 或者其他可用的稳定版；而 `/path/to/model/repository` 则是要挂载到容器内的本地模型仓库路径。 #### 准备模型库结构对于想要加载至 Triton 中的服务化 AI 模型而言，其文件夹应当按照特定格式组织起来。比如 YOLOv5 TensorRT 模型实例中提到的操作如下所示[^3]： ```bash cd triton-yolov5-trt mkdir -p triton_deploy/models/yolov5/1/ mkdir triton_deploy/plugins cp tensorrtx/yolov5/yolov5s.engine triton_deploy/models/yolov5/1/model.plan cp tensorrtx/yolov5/build/libmyplugins.so triton_deploy/plugins/libmyplugins.so ``` 这里创建了一个名为 `triton_deploy` 的目录用于存放即将被服务化的YOLO v5模型及其依赖插件，在此之后还需要设置好相应的配置文件（通常是 `.config.pbtxt` 文件），以便让Triton知道如何解析这些二进制数据作为有效的推理引擎输入输出接口定义。 #### 关于发布版本的信息更新有关最新发布的功能改进以及已知问题修复情况，请参阅官方文档中的发行说明部分[^2]。