NVIDIA TAO Toolkit Triton Apps 使用教程

NVIDIA TAO Toolkit Triton Apps 使用教程

项目介绍

NVIDIA TAO Toolkit Triton Apps 是一个开源项目，旨在帮助用户将通过 NVIDIA Train Adapt Optimize (TAO) Toolkit 训练的模型部署到 Triton Inference Server 上。TAO Toolkit 提供了生成计算机视觉和对话式 AI 模型的简单接口，这些模型通常通过 DeepStream SDK 或 Jarvis 管道部署。本项目为用户提供了参考示例，以便在 Triton 上推断这些训练好的模型。

项目快速启动

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• Python 3.6.9+
• python3-pip >19.03.5
• nvidia-container-toolkit >1.3.0-1
• nvidia-driver >455
• nvidia-pyindex
• virtualenvwrapper
• docker-ce 20.10.6

2. 安装 Python 依赖

首先，设置虚拟环境并安装所需的 Python 依赖包：

# 创建虚拟环境
mkvirtualenv triton_dev -p /path/to/your/python3

# 激活虚拟环境
workon triton_dev

# 安装 Python 依赖
pip3 install -r requirements-pip.txt

# 安装 Triton Client 库
pip3 install nvidia-pyindex
pip3 install tritonclient[all]

# 添加 TAO Triton 仓库到 PYTHONPATH
add2virtualenv $TAO_TRITON_REPO_ROOT/tao_triton

3. 启动 Triton Server

使用以下命令启动 Triton Server，并加载从 NGC 下载的示例模型：

bash scripts/start_server.sh

4. 运行客户端示例

以下是运行 PeopleNet 模型的示例命令：

python tao_client.py \
    /path/to/a/directory/of/images \
    -m peoplenet_tao \
    -x 1 \
    -b 8 \
    --mode DetectNet_v2 \
    --class_list person bag face \
    -i https \
    -u localhost:8000 \
    --async \
    --output_path /path/to/the/output/directory \
    --postprocessing_config $tao_triton_root/tao_triton/python/clustering_specs/clustering_config_peoplenet.prototxt

应用案例和最佳实践

1. 计算机视觉模型部署

本项目支持多种计算机视觉模型的部署，包括 DetectNet_v2、YOLOv3、RetinaNet 等。用户可以根据自己的需求选择合适的模型，并按照上述步骤进行部署。

2. 对话式 AI 模型部署

除了计算机视觉模型，TAO Toolkit 还支持对话式 AI 模型的部署。用户可以通过类似的方式将这些模型部署到 Triton Inference Server 上。

3. 性能优化

为了获得最佳性能，建议用户在部署模型时使用 TensorRT 引擎，并根据硬件配置进行相应的优化设置。

典型生态项目

1. NVIDIA DeepStream SDK

DeepStream SDK 是一个用于构建智能视频分析应用的框架，支持将 TAO Toolkit 训练的模型集成到视频处理管道中。

2. NVIDIA Jarvis

Jarvis 是一个端到端的对话式 AI 平台，支持将 TAO Toolkit 训练的对话式 AI 模型集成到语音识别和自然语言处理任务中。

3. Triton Inference Server

Triton Inference Server 是一个高效部署深度神经网络的开源项目，支持多种框架（如 TensorRT、TensorFlow、ONNXRuntime）的模型部署。

通过这些生态项目的集成，用户可以构建完整的 AI 解决方案，满足不同应用场景的需求。