TensorRT开发问题合集（持续更新）

最新推荐文章于 2025-03-09 22:51:56 发布

Alex-Leung

最新推荐文章于 2025-03-09 22:51:56 发布

阅读量2.3k

点赞数 3

分类专栏： TensorRT 深度学习文章标签： TensorRT

本文链接：https://blog.youkuaiyun.com/a2824256/article/details/120887727

版权

TensorRT 动态形状优化配置模型转换网络定义

关键词由优快云通过智能技术生成

深度学习同时被 2 个专栏收录

29 篇文章

订阅专栏

TensorRT

1 篇文章

订阅专栏

本文介绍了在使用TensorRT时遇到的两个问题，一个是模型输入形状为动态值导致的错误，另一个是内部错误提示网络缺少优化配置。解决动态形状问题需要将模型输入设置为固定尺寸，而解决优化配置问题则需要定义IOptimizationProfile，指定输入维度的最小、最优和最大值。这两个步骤对于成功构建和运行TensorRT网络至关重要。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题1：

错误信息：

While parsing node number 645 [GlobalAveragePool]:
ERROR: builtin_op_importers.cpp:1087 In function importGlobalAveragePool:
[8] Assertion failed: !isDynamic(kernelSize) && "Cannot run global average pool on an input with dynamic spatial dimensions!"

导致原因：
模型input shape为动态值，需要设置为固定值，如下图输入的tensor尺寸float32[batch_size,3,h,w]

问题2

TensorRT 8.2
错误信息：

Internal Error (Network has dynamic or shape inputs, but no optimization profile has been defined.

相关文档：work_dynamic_shapes
解决方法：

auto builder = SampleUniquePtr<nvinfer1::IBuilder>(nvinfer1::createInferBuilder(sample::gLogger.getTRTLogger()));
    if (!builder)
    {
        return false;
    }

    //按照官方要求，网络定义不得具有隐式批处理维度
    auto network = SampleUniquePtr<nvinfer1::INetworkDefinition>(builder->createNetworkV2(1U <<static_cast<int>(NetworkDefinitionCreationFlag::kEXPLICIT_BATCH)));
    if (!network)
    {
        return false;
    }

    auto config = SampleUniquePtr<nvinfer1::IBuilderConfig>(builder->createBuilderConfig());
    if (!config)
    {
        return false;
    }
    //添加IOptimization Profile，指定维度范围
    IOptimizationProfile* profile = builder->createOptimizationProfile();
    profile->setDimensions("inputs", OptProfileSelector::kMIN, Dims4(1, 3, 512, 512));
    profile->setDimensions("inputs", OptProfileSelector::kOPT, Dims4(1, 3, 512, 512));
    profile->setDimensions("inputs", OptProfileSelector::kMAX, Dims4(1, 3, 512, 512));

    config->addOptimizationProfile(profile);