0.介绍
triton是nvidia开发的基于tensorrt的推理服务器
1.安装
git clone https://github.com/JonathanSalwan/Triton
cd Triton
mkdir build
cd build
cmake ..
make -j3
sudo make install
2.使用
123
【python】triton
于 2022-09-21 14:25:21 首次发布
本文介绍了NVIDIA Triton推理服务器的安装步骤及基本使用方法。Triton是基于TensorRT开发的一款高性能推理服务器，能够有效加速AI模型部署过程。文章详细展示了如何通过git clone获取源代码、编译安装并最终运行Triton推理服务器。
部署运行你感兴趣的模型镜像
您可能感兴趣的与本文相关的镜像
TensorRT-v8.6
TensorRT
TensorRT 是NVIDIA 推出的用于深度学习推理加速的高性能推理引擎。它可以将深度学习模型优化并部署到NVIDIA GPU 上，实现低延迟、高吞吐量的推理过程。
扫一扫
2908
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
