Triton inference server系列(3)——pytorch模型配置、挂载

源文档：Triton inference server系列(3)——pytorch模型配置、挂载

接上文 Triton inference server系列(2)——pytorch 导出triton server模型，导出了可以用 triton inference server服务挂载的 torchscript模型文件，本文我们详述模型相关的配置文件

• 多读官方文档！多读官方文档！多读官方文档！triton-inference-server/server
• 多看配置protobuf！多看配置protobuf！多看配置protobuf！model_config.proto

TorchScript Models配置

模型仓库

TorchScript Models

模型仓库按照如下的方式进行配置

  <model-repository-path>/
    <model-name>/
      config.pbtxt
      1/
        model.pt

具体示例如下： 上一篇文章我们导出的模型cta2mbf_generator.pt，以下示例中模型仓库中只有一个模型：

tree -L 4

.
├── models                      # <model-repository-path>
│   ├── cta2mbf_generator       # <model-name>， 这里的名字要与config.pbtxt中的名字对应
│   │   ├── 1                   # 模型的版本，可以自定义
│   │   │   └── model.pt        # 模型, 将`cta2mbf_generator.pt`重命名`model.pt`,放于该路径下
│   │   └── config.pbtxt        # 模型相关的配置文件，后面会细讲
|..

模型配置

以下我们主要讲解pytorch的导出模型torch script的配置,其它模型大体差不多，具体请参见官方文档(Model Configuration)

---

基本的模型配置,这是tensorrt模型的一份基础的配置文件，之所以先把这份配置文件拎出来讲，是因为pytorch的配置会有所差异

  platform: "tensorrt_plan"
  max_batch_size: 8
  input [
    {
      name: "input0"
      data_type: TYPE_FP32
      dims: [ 16 ]
    },
    {
      name: "input1"
      data_type: TYPE_FP32
      dims: [ 16 ]
    }
  ]
  output [
    {
      name: "output0"
      data_type: TYPE_FP32
      dims: [ 16 ]
    }
  ]

• 差异1：platform: "tensorrt_plan", torch script相关的模型的backend需要选用：platform: "pytorch_libtorch", 具体参见：