Tensorrt笔记（一） C++ API

原创

于 2024-06-06 17:47:16 发布 · 1.8k 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#笔记 #c++ #深度学习

这个系列需要注意可读性，便于以后迭代阅读。

框架必须明晰

参考：Developer Guide :: NVIDIA Deep Learning TensorRT Documentation

1 须知

接口类以字母"I"作为前缀，例如ILogger、IBuilder等等；
TensorRT在第一次调用CUDA时会自动创建一个CUDA上下文，所以，首次调用TensorRT之前自己创建和配置CUDA上下文。
为了说明对象的生命周期，本章代码不使用智能指针；然而，建议在使用TensorRT接口时使用智能指针。

2 构建阶段

ILogger

class Logger : public ILogger           
{
    void log(Severity severity, const char* msg) noexcept override
    {
        // suppress info-level messages
        if (severity <= Severity::kWARNING)
            std::cout << msg << std::endl;
    }
} logger;

// 创建推理引擎
IBuilder* builder = createInferBuilder(logger);