dejahu的博客

彩色传感器需要处理的数据量是单色传感器的三倍，因此处理时间较长，帧率也较慢。光学镜头的基本作用是收集物体的散射光，并在光敏图像传感器（CCD 或 CMOS）上再现物体的图像。即便传感器可以达到您所需要的分辨率，如果不能达到足够的每秒帧数，就无法捕捉到所需要的高质量图像。帧率是指每秒拍摄的帧数（或捕捉的图像）（FPS）。它受到多种因素的影响，如所使用的照明类型、传感器像素大小和光学器件的性能等。但由于帧读取、传感器分辨率和包括电缆在内的接口数据传输速率所带来的延迟，可实现的 FPS 将会较低于这个值。

NVIDIA TAO 工具套件提供了一个低代码 AI 框架，让无论是新手还是数据科学专家都可以使用这个平台加速视觉 AI 模型开发。通过 NVIDIA TAO 工具套件，开发人员可以进行迁移学习，通过适应和优化，在短时间内达到最先进的精度和生产级吞吐量。在 NVIDIA GTC23 上，NVIDIA 发布了 NVIDIA TAO 套件 5.0 ，带来了 AI 模型开发方面的突破性功能提升。新功能包括开源架构、基于 Transformer 的预训练模型、AI 辅助的数据标注，以及在任何平台上部署模型的能力。

NVIDIA Ampere 架构中的结构化稀疏功能可以加速许多深度学习工作负载，并且易于结合 TensorRT 和 cuSPARSELt 稀疏加速库一起使用。

由于较少的数据传输量和所需的内存，这两种机制都允许加速。Triton 稳定且快速，允许您使用准备好的 Docker 容器以简单的方式运行 ML/DL 模型的推理，该容器仅使用一行代码和简单的类似 JSON 的配置。具有数千亿参数的大型基于 Transformer 的模型的行为就像一个巨大的百科全书和大脑，其中包含有关它所学到的一切的信息。FasterTransformer 库使用此参数对所有底层算法进行实时基准测试，并为模型的参数和您的输入数据（注意层的大小、注意头的数量、隐藏层的大小）选择最佳的一个。

(2) 模型 classification_model 的输入为 preprocessed_image，表示这个模型的工作是在 image_preprocess_model 之后的任务，执行的推理输出为 CLASSIFICATION；由于集成模型将继承所涉及模型的特性，因此在请求起点的元数据（本例为“IMAGE”）必须符合集成中的模型，如果其中一个模型是有状态模型，那么集成模型的推理请求应该包含有状态模型中提到的信息，这些信息将由调度器提供给有状态模型。将新收集的张量映射到集合中模型的输入。

模型可以使用请求中的开始标志来检测新序列的开始，并通过在模型输出中提供初始状态来初始化模型状态，如果模型状态描述中的 dims 部分包含可变尺度，则 Triton 在开始请求时将每个可变尺寸设置为“1”。这是 Triton 默认的模型模式，最主要的要求就是“模型所维护的状态不跨越推理请求”，也就是不存在与其他推理请求有任何交互关系，大部分处于最末端的独立推理模型，都适合使用这种模式，例如车牌检测最末端的将图像识别成符号的推理、为车辆识别颜色/种类/厂牌的图像分类等，还有。

这个资源主要指的是 GPU 的显存调用，因为数据在 CPU 与 GPU 之间的交换传输，经常在整个计算环节中造成很大的影响，如果当我们需要对同一组数据进行不同的计算，或者计算过程中有流水线前后关系的话，那么将这些需要重复使用的数据保留在 GPU 显存上，就能非常有效减少数据传输次数，进而提升计算效率。的参数，这样就允许一个 GPU 上可以并发三个实例的模型计算，如果用户端发出超过 3 个推理请求时，则第 4 个 model 1 推理请求就必须等到前三个实例中的任一个执行完之后，才能开始执行。

输出节点的张量尺度（如“dims: [ 1001 ]”），表示模型生成的输出张量的形状，并由 Triton 服务器响应推断请求返回。这里的可以是任何字符串、则对应到输入或输出顺序的整数，例如模型有两个输入节点与两个输出节点时，可以用“INPUT_0”与“INPUT_1”代表两个输入节点、用“OUTPUT_0”与“OUTPUT_1”代表两个输出节点。输入的名称映射到该特定张量的字符串“key”值，例如“A”或“B”，其中输入“A”是指对应于 tensor1 的值、“B”是指对应于 tensor2 的值。

以上就是 Triton 用户端会用到的基本功能，不过缺乏足够的说明文件，因此其他功能函数的内容必须自行在开源文件内寻找，像 C++ 版本的功能得在 src/c++/library 目录下的 common.h、grpc_client.h 与 http_client.h 里找到细节，Python 版本的函数分别在 src/python/library/triton_client 下的 grpc、http、utils 下的。对 Triton 推理服务器而言，并不能确认所收到的推理要求是否为密集型的计算。

这里显示有的 8 个推理模型，就是启动服务器时使用“–model-repository=”参数指定的模型仓内容，因此客户端使用“-m”参数指定的模型，必须是在这个表所列的内容之列，例如“-m densenet_onnx”、“-m inception_graphdef”等等。当 Triton 推理服务器运行起来之后，就进入等待请求的状态，因此我们所要提出的请求内容，就必须在用户端软件里透过参数去调整请求的内容，这部分在 Triton 相关使用文件中并没有提供充分的说明，因此。

Triton 开发团队为使用者提供编译好的可执行文件，包括 Ubuntu 20.04、Jetpack 与 Windows 平台，可以在https://github.com/triton-inference-server/server/releases/ 上获取，每个版本都会提供对应。有兴趣者，请自行参考前面下载的开源仓里的 docs/customization_guide/build.md文件，有关于 Ubuntu 20.04、Jetpack 与 Windows 等各种平台的编译细节。

Triton 开发团队为使用者提供编译好的可执行文件，包括 Ubuntu 20.04、Jetpack 与 Windows 平台，可以在https://github.com/triton-inference-server/server/releases/ 上获取，每个版本都会提供对应。有兴趣者，请自行参考前面下载的开源仓里的 docs/customization_guide/build.md文件，有关于 Ubuntu 20.04、Jetpack 与 Windows 等各种平台的编译细节。

Orin 设备作为实验平台，先下载 https://github.com/triton-inference-server/server 开源仓，里面的docs目录下有个 examples/model_repository 就是个模型仓范例，里面有 8 个简单的模型，可以做些简单的测试与体验。Triton 服务器启动时，会将模型仓下的模型载入计算设备的内存之中，并不需要与模型仓所在服务器进行实时数据交换，因此启动之初会消耗比较多时间，开始执行推理计算之后是不会受到网络速度影响推理性能。

这里会链接到 https://github.com/triton-inference-server/server/issues 问题中心，是 Triton 项目中最重要的技术问题解决资源之一，后面执行过程中所遇到的问题，都可以先到这里来查看是否有人已经提出？如果没有的话，也可以在这里提交自己所遇到的问题，项目负责人会提供合适的回复。对于未来要在 Triton 服务器上，对于所使用的网络后端进行性能优化或者创建新的后端，会有很大的助益，但是对于初学者来说是相对艰涩的，因此现阶段先不做深入的说明与示范。

Triton 的后端就是执行模型的封装代码，每种支持的框架都有一个对应的后端作为支持，例如 tensorrt_backend 就是支持 TensorRT 模型推理所封装的后端、openvino_backend 就是支持 openvine 模型推理所封装的后端，目前在 Triton 开源项目里已经提供大约 15 种后端，技术人员可以根据开发无限扩充。**：****存放 Triton 服务器所要使用的模型文件与配置文件的存储设备，可以是本地服务器的文件系统，也可以使用 Google、

NVIDIA 的 Triton 推理服务器是一款开源软件，对于所有推理模式都可以简化在任一框架中以及任何 GPU 或 CPU 上的运行方式，从而在生产环境中使用推理计算，并且支持多模型 ensemble，以及 TensorFlow、PyTorch、ONNX 等多种深度学习模型框架，可以很好的支持多模型联合推理的场景，构建起视频、图片、语音、文本整个推理服务过程，大大降低多个模型服务的开发和维护成本。大大提高了用户的体验，并且服务器的数量减少了多达 78%，极大降低了服务的成本。