NVIDIA Triton系列01-应用概论

NVIDIA Triton系列01-应用概论

推理识别是人工智能最重要的落地应用，其他与深度学习相关的数据收集、标注、模型训练等工作，都是为了得到更好的最终推理性能与效果。

几乎每一种深度学习框架都能执行个别的推理工作，包括 Tensorflow、Pytorch、MXNet 等通用型框架与 YOLO 专属的 Darknet 框架，此外还有 ONNX 开发推理平台、NVIDIA TensorRT 加速推理引擎，也提供推理相关的 C / C++ 与 Python 开发接口，这是大部分技术人员所熟悉的方法。

在垂直应用方面，NVIDIA 的 DeepStream 智能分析工具是非常适合用在种类固定且需要长期统计分析的场景，包括各种交通场景的人 / 车流量分析、工业流水线质量检测等应用，并且在早期视觉（Visualization）类推理功能之上，再添加对话（Conversation）类推理功能，让使用范围更加完整。

上述的推理方式通常适合在识别固定种类与固定输入源的使用场景，在交通、工业自动化领域、无人设备等领域的使用比较普及。

但是这种方式并不适合在网络相关的服务类应用中使用，包括在线的产品推荐、图像分类、聊天机器人等应用，因为在线服务需要同时面对未知数量与类型的数据源，并且透过 HTTP 协议进行数据传输的延迟问题，也是严重影响用户体验感的因素，这是绝大部分网路服务供应商要导入 AI 智能识别技术所面临的共同难题。

NVIDIA Triton 推理服务器的最大价值，便是为服务类智能应用提供一个完整的解决方案，因此首先需要解决以下的三大关键问题：

1. 高通用性：

(1) 广泛支持多种计算处理器：包括具备 NVIDIA GPU 的 x86 与 ARM CPU 设备，也支持纯 CPU 设备的推理计算。

(2) 广泛支持各种训练框架的文件格式：包括 TensorFlow 1.x/2.x、PyTorch、ONNX、TensorRT、RAPIDS FIL（用于 XG