以下是 trtexec
工具的详细参数说明:
1、参数
Model Options
参数 | 说明 | 示例 | 备注 |
---|---|---|---|
--uff=<file> |
指定 UFF 模型文件 | --uff=model.uff |
用于加载 UFF 格式的模型。 |
--onnx=<file> |
指定 ONNX 模型文件 | --onnx=model.onnx |
用于加载 ONNX 格式的模型。 |
--model=<file> |
指定 Caffe 模型文件(默认 = 无模型,使用随机权重) | --model=model.caffemodel |
用于加载 Caffe 格式的模型文件。 |
--deploy=<file> |
指定 Caffe 的 prototxt 文件 | --deploy=deploy.prototxt |
用于加载 Caffe 模型的网络结构文件。 |
--output=<name>[,<name>]* |
指定输出名称(可以多次指定);UFF 和 Caffe 模型至少需要一个输出 | --output=output1,output2 |
用于指定模型的输出节点名称。 |
--uffInput=<name>,X,Y,Z |
指定输入 blob 名称及其维度(X,Y,Z = C,H,W),可以多次指定;UFF 模型至少需要一个输入 | --uffInput=input1,3,224,224 |
用于指定 UFF 模型的输入名称和维度。 |
--uffNHWC |
设置输入是否为 NHWC 布局而不是 NCHW(在 --uffInput 中使用 X,Y,Z = H,W,C 顺序) |
--uffNHWC |
用于指定 UFF 模型的输入布局格式。 |
Build Options
参数 | 说明 | 示例 | 备注 |
---|---|---|---|
--maxBatch |
设置最大批处理大小并构建隐式批处理引擎(默认值与 --batch 相同) |
--maxBatch=32 |
当输入模型为 ONNX 或提供动态形状时,不应使用此选项。 |
--minShapes=spec |
使用提供的最小形状配置文件构建动态形状 | --minShapes=input0:1x3x256x256,input1:1x3x128x128 |
必须同时提供 minShapes 、optShapes 和 maxShapes 。 |
--optShapes=spec |
使用提供的最优形状配置文件构建动态形状 | --optShapes=input0:1x3x256x256,input1:1x3x128x128 |
如果仅提供 optShapes ,则 minShapes 和 maxShapes 将设置为与 optShapes 相同的值。 |
--maxShapes=spec |
使用提供的最大形状配置文件构建动态形状 | --maxShapes=input0:1x3x256x256,input1:1x3x128x128 |
输入名称可以用转义的单引号包裹(例如:'Input:0' )。 |
--minShapesCalib=spec |
使用提供的最小形状配置文件校准动态形状 | --minShapesCalib=input0:1x3x256x256,input1:1x3x128x128 |
必须同时提供 minShapesCalib 、optShapesCalib 和 maxShapesCalib 。 |
--optShapesCalib=spec |
使用提供的最优形状配置文件校准动态形状 | --optShapesCalib=input0:1x3x256x256,input1:1x3x128x128 |
如果仅提供 optShapesCalib ,则 minShapesCalib 和 maxShapesCalib 将设置为与 optShapesCalib 相同的值。 |
--maxShapesCalib=spec |
使用提供的最大形状配置文件校准动态形状 | --maxShapesCalib=input0:1x3x256x256,input1:1x3x128x128 |
输入名称可以用转义的单引号包裹(例如:'Input:0' )。 |
--inputIOFormats=spec |
指定每个输入张量的类型和格式(默认 = 所有输入为 fp32:chw ) |
--inputIOFormats=fp16:chw,fp32:chw |
如果指定此选项,请为所有输入设置逗号分隔的类型和格式,顺序与网络输入 ID 相同。 |
--outputIOFormats=spec |
指定每个输出张量的类型和格式(默认 = 所有输出为 fp32:chw ) |
--outputIOFormats=fp16:chw,fp32:chw |
如果指定此选项,请为所有输出设置逗号分隔的类型和格式,顺序与网络输出 ID 相同。 |
--workspace= |