将模型嵌入到c++代码

原创 于 2025-10-21 22:07:30 发布 · 262 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器人 #算法 #人工智能

将深度学习模型嵌入C++代码，通常有以下几个步骤：

  1. 选择合适的推理框架：如TensorFlow C++ API、PyTorch C++ API（LibTorch）、OpenVINO、ONNX Runtime、TFLite等。

  2. 将训练好的模型转换为对应格式：例如，PyTorch模型转换为TorchScript，TensorFlow模型转换为SavedModel或冻结的PB格式，或者转换为ONNX格式。

  3. 在C++项目中集成推理框架：通过CMake或其他构建工具链接推理库。

  4. 编写C++代码加载模型并进行推理。

下面以两种常见的框架为例简要说明：

1. 使用LibTorch（PyTorch C++）

步骤：

  • 下载LibTorch（PyTorch的C++版本）。

  • 将PyTorch模型转换为TorchScript。

  • 在C++项目中引入LibTorch，加载模型并进行推理。

示例代码：

cpp

#include <torch/script.h> // 引入TorchScript头文件
#include <iostream>
#include <vector>

int main() {
    // 加载模型
    torch::jit::script::Module module;
    try {
        module = torch::jit::load("path/to/your/model.pt");
    }
    catch (const c10::Error& e) {
        std::cerr << "错误：无法加载模型\n";
        return -1;
    }

    // 创建输入向量
    std::vector<float> input_data = {1.0, 2.0, 3.0, 4.0}; // 示例数据
    // 将输入数据转换为tensor
    torch::Tensor input_tensor = torch::from_blob(input_data.data(), {1, 4}, torch::kFloat);
    
    // 执行推理
    std::vector<torch::jit::IValue> inputs;
    inputs.push_back(input_tensor);
    at::Tensor output = module.forward(inputs).toTensor();
    
    // 输出结果
    std::cout << output << std::endl;
    
    return 0;
}

编译时需要链接LibTorch库。CMakeLists.txt示例：

cmake

cmake_minimum_required(VERSION 3.0 FATAL_ERROR)
project(example_app)

find_package(Torch REQUIRED)
set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} ${TORCH_CXX_FLAGS}")

add_executable(example_app example_app.cpp)
target_link_libraries(example_app "${TORCH_LIBRARIES}")
set_property(TARGET example_app PROPERTY CXX_STANDARD 14)

2. 使用ONNX Runtime

步骤：

  • 将模型转换为ONNX格式。

  • 在C++项目中集成ONNX Runtime。

  • 加载ONNX模型并进行推理。

示例代码：

cpp

#include <onnxruntime_cxx_api.h>
#include <vector>
#include <iostream>

int main() {
    // 初始化ONNX Runtime环境
    Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "test");
    Ort::SessionOptions session_options;
    session_options.SetIntraOpNumThreads(1);

    // 加载模型
    const char* model_path = "path/to/your/model.onnx";
    Ort::Session session(env, model_path, session_options);

    // 获取模型输入输出信息
    Ort::AllocatorWithDefaultOptions allocator;
    auto input_name = session.GetInputName(0, allocator);
    auto output_name = session.GetOutputName(0, allocator);
    std::vector<const char*> input_names = {input_name};
    std::vector<const char*> output_names = {output_name};

    // 准备输入数据
    std::vector<float> input_tensor_values = {1.0, 2.0, 3.0, 4.0};
    std::vector<int64_t> input_shape = {1, 4}; // 假设输入形状为[1,4]

    // 创建输入tensor
    auto memory_info = Ort::MemoryInfo::CreateCpu(OrtArenaAllocator, OrtMemTypeDefault);
    Ort::Value input_tensor = Ort::Value::CreateTensor<float>(memory_info, input_tensor_values.data(), input_tensor_values.size(), input_shape.data(), input_shape.size());

    // 运行模型
    auto output_tensors = session.Run(Ort::RunOptions{nullptr}, input_names.data(), &input_tensor, 1, output_names.data(), 1);

    // 获取输出
    float* floatarr = output_tensors[0].GetTensorMutableData<float>();
    // 输出结果
    std::cout << "输出: " << floatarr[0] << std::endl;

    // 释放资源
    allocator.Free(input_name);
    allocator.Free(output_name);

    return 0;
}

编译时需要链接ONNX Runtime库。

注意事项

  • 模型转换：确保模型转换正确，注意输入输出节点名称和形状。

  • 依赖管理：确保C++项目能正确找到推理库的头文件和库文件。

  • 性能优化：根据目标硬件平台，可能需要进行特定的优化（如使用GPU、量化等）。

  • 内存管理：注意内存分配和释放，避免内存泄漏。

根据你的具体需求（如模型类型、部署环境、性能要求等）选择合适的框架和优化方法。

将深度学习模型嵌入C++代码主要有以下几种方式，我会从简单到复杂为你详细介绍：

1. 使用ONNX Runtime（推荐）

这是最通用和简单的方法，支持多种框架训练的模型。

步骤：

  1. 将模型转换为ONNX格式

python

# PyTorch示例
import torch
import torch.onnx

model = YourModel()
model.load_state_dict(torch.load('model.pth'))
model.eval()

dummy_input = torch.randn(1, 3, 224, 224)
torch.onnx.export(model, dummy_input, "model.onnx", 
                  input_names=['input'], output_names=['output'],
                  dynamic_axes={'input': {0: 'batch_size'}, 'output': {0: 'batch_size'}})

  1. C++代码集成

cpp

#include <onnxruntime_cxx_api.h>
#include <vector>
#include <iostream>

class ONNXModel {
private:
    Ort::Env env;
    Ort::Session session;
    std::vector<const char*> input_names;
    std::vector<const char*> output_names;

public:
    ONNXModel(const std::string& model_path) : 
        env(ORT_LOGGING_LEVEL_WARNING, "Model"),
        session(env, model_path.c_str(), Ort::SessionOptions{}) {
        
        // 获取输入输出信息
        Ort::AllocatorWithDefaultOptions allocator;
        input_names.push_back(session.GetInputName(0, allocator));
        output_names.push_back(session.GetOutputName(0, allocator));
    }

    std::vector<float> predict(const std::vector<float>& input) {
        // 准备输入tensor
        std::vector<int64_t> input_shape = {1, 3, 224, 224}; // 根据你的模型调整
        size_t input_tensor_size = 1 * 3 * 224 * 224;
        
        auto memory_info = Ort::MemoryInfo::CreateCpu(
            OrtDeviceAllocator, OrtMemTypeCPU);
        
        Ort::Value input_tensor = Ort::Value::CreateTensor<float>(
            memory_info, 
            const_cast<float*>(input.data()), 
            input_tensor_size,
            input_shape.data(), 
            input_shape.size()
        );

        // 运行推理
        auto output_tensors = session.Run(
            Ort::RunOptions{nullptr},
            input_names.data(),
            &input_tensor,
            1,
            output_names.data(),
            1
        );

        // 获取输出
        float* floatarr = output_tensors[0].GetTensorMutableData<float>();
        auto output_shape = output_tensors[0].GetTensorTypeAndShapeInfo().GetShape();
        size_t output_size = output_shape[0] * output_shape[1];
        
        return std::vector<float>(floatarr, floatarr + output_size);
    }
};

2. 使用LibTorch（PyTorch C++）

适合直接部署PyTorch模型。

步骤：

  1. 安装LibTorch

bash

# 从PyTorch官网下载预编译的LibTorch

  1. C++代码示例

cpp

#include <torch/script.h>
#include <torch/torch.h>

class TorchModel {
private:
    torch::jit::script::Module module;

public:
    TorchModel(const std::string& model_path) {
        try {
            // 加载模型
            module = torch::jit::load(model_path);
        } catch (const c10::Error& e) {
            std::cerr << "Error loading model\n";
        }
    }

    std::vector<float> predict(const std::vector<float>& input) {
        // 转换为tensor
        auto options = torch::TensorOptions().dtype(torch::kFloat32);
        torch::Tensor input_tensor = torch::from_blob(
            (void*)input.data(), 
            {1, 3, 224, 224}, 
            options
        ).clone();

        // 推理
        std::vector<torch::jit::IValue> inputs;
        inputs.push_back(input_tensor);
        
        auto output = module.forward(inputs).toTensor();
        
        // 转换回vector
        std::vector<float> result(output.data_ptr<float>(),
                                 output.data_ptr<float>() + output.numel());
        return result;
    }
};

3. 使用TensorFlow C++ API

适合TensorFlow/Keras模型。

cpp

#include <tensorflow/cc/client/client_session.h>
#include <tensorflow/cc/ops/standard_ops.h>
#include <tensorflow/core/framework/tensor.h>

class TFModel {
private:
    tensorflow::Session* session;
    tensorflow::GraphDef graph_def;

public:
    bool loadModel(const std::string& model_path) {
        tensorflow::Status status = ReadBinaryProto(
            tensorflow::Env::Default(), model_path, &graph_def);
        if (!status.ok()) return false;

        tensorflow::SessionOptions options;
        status = tensorflow::NewSession(options, &session);
        if (!status.ok()) return false;

        status = session->Create(graph_def);
        return status.ok();
    }

    std::vector<float> predict(const std::vector<float>& input) {
        tensorflow::Tensor input_tensor(
            tensorflow::DT_FLOAT, 
            tensorflow::TensorShape({1, 3, 224, 224})
        );
        
        // 填充数据...
        
        std::vector<std::pair<std::string, tensorflow::Tensor>> inputs = {
            {"input_layer", input_tensor}
        };
        
        std::vector<tensorflow::Tensor> outputs;
        tensorflow::Status status = session->Run(
            inputs, {"output_layer"}, {}, &outputs);
            
        if (status.ok()) {
            // 处理输出...
        }
        
        return std::vector<float>();
    }
};

4. 构建配置（CMake）

ONNX Runtime + CMake

cmake

cmake_minimum_required(VERSION 3.10)
project(DLInference)

set(CMAKE_CXX_STANDARD 14)

# 查找ONNX Runtime
find_package(ONNXRuntime REQUIRED)

add_executable(inference_app main.cpp)
target_link_libraries(inference_app ONNXRuntime::onnxruntime)

LibTorch + CMake

cmake

cmake_minimum_required(VERSION 3.10)
project(TorchInference)

set(CMAKE_CXX_STANDARD 14)

# 查找LibTorch
find_package(Torch REQUIRED)

add_executable(torch_app main.cpp)
target_link_libraries(torch_app "${TORCH_LIBRARIES}")

5. 完整使用示例

cpp

#include <iostream>
#include "ONNXModel.hpp"  // 你的模型封装类

int main() {
    // 初始化模型
    ONNXModel model("path/to/your/model.onnx");
    
    // 准备输入数据
    std::vector<float> input_data(1 * 3 * 224 * 224, 0.5f); // 示例数据
    
    // 进行推理
    auto start = std::chrono::high_resolution_clock::now();
    std::vector<float> result = model.predict(input_data);
    auto end = std::chrono::high_resolution_clock::now();
    
    // 输出结果
    std::cout << "推理时间: " 
              << std::chrono::duration<double, std::milli>(end - start).count()
              << " ms" << std::endl;
    
    std::cout << "输出大小: " << result.size() << std::endl;
    
    return 0;
}

选择建议：

  1. ONNX Runtime - 最通用，支持多种框架，性能好

  2. LibTorch - 适合PyTorch生态，开发活跃

  3. TensorFlow C++ - 适合TensorFlow模型

  4. OpenVINO - 英特尔硬件优化

  5. TensorRT - NVIDIA GPU优化

推荐从ONNX Runtime开始，它提供了最好的兼容性和不错的性能。

三维目标检测：（五）如何将pytorch模型部署到C++工程中及pytorch模型转libtorch模型常见的问题
weixin_43348387的博客
11-25 4871
对于Pytorch下的python深度学习模型如何转化为libtorch下的C++深度学习模型的方法，和常见的模型转化过程中出现的问题。
C++调用PyTorch模型教程
xyqqwer的博客
03-02 5211
在人工智能的世界中，PyTorch已经成为了研究人员和工程师们广泛使用的深度学习框架之一。它以其灵活性和动态计算图而闻名，非常适合快速原型设计和实验。然而，当我们想要将训练好的模型部署到生产环境中时，我们可能会倾向于使用C++这样的更高性能语言，因为它提供了更好的速度和资源管理。幸运的是，PyTorch提供了LibTorch库，使得我们可以在C++环境中加载和使用PyTorch模型。本教程将详细介绍如何在C++中调用PyTorch模型，包括环境配置、模型的导出、C++中的加载和使用等步骤。
部署Pytorch模型到C++环境
likesomething1的博客
06-30 6699
由于工作原因需要部署Pytorch模型到c++环境下，目前大概有三种方式。 1、pytorch转成onnx文件后，通过opencv读取。 2、pytroch转成onnx文件后，通过onnxruntime读取。 3、利用libtorch库，也就是pytorch的c++版。首先的将pytorch训练好的模型导出onnx文件。...............
[LibTorch] C++ 调用 PyTorch 导出的模型
weixin_43742643的博客
04-24 3129
参考文章 C++部署pytorch模型 利用LibTorch部署PyTorch模型 问题 pytorch 的神经网络模型有很多，但 libtorch 就特别少。现在面临的问题是要在 C++ 环境下应用神经网络模型，肯定不能直接使用 pytorch 模型。解决办法有两个： 方法一是用 TorchScript 工具导出模型 poolnet.pt，模型中包含网络结构和参数权重，因此可以直接在 C++ 里面生成神经网络。 方法二是用 C++ 复现网络结构，封装为为类对象，再从 poolnet.pt .
将PyTorch模型部署到C++上（Ubuntu)
qq_39332551的博客
06-01 1836
为什么要这么做？ PyTorch作为一个开源的Python机器学习库正受到越来越广泛的关注和应用。然而，作为一门语言，Python并不是在任何场景下都适用的。在生产以及部署到自动驾驶车辆上等场景中，C++常常是更好的选择。因此需要将PyTorch模型部署到C++上。以下是实现的步骤。 将PyTorch模型转化成Torch Script Torch Script的作用是用TorchScript编写的任何代码都可以从Python进程中保存并加载到没有Python依赖关系的进程中。有两种方法可以实现这一步.
使用C++调用pytorch模型(Linux)
weixin_39450742的博客
04-25 2807
模型转换思路通常为: Pytorch -> ONNX -> TensorRT Pytorch -> ONNX -> TVM Pytorch ->转换工具-> caffe Pytorch -> torchscript(C++版本Torch) 我的模型是使用Pytorch1.0训练的,第三种方法应该是还不支持,没有对应层名字, 放弃. (以下是用方法3生成的网络结构图, 其中部分层名字和工具对应不上). 因此本文使用第4中方法,详细步骤分两步, 具体如..
精选资源
GOCAD 网格模型（Sgrid）转Flac3D C++ 源代码
08-26
GOCAD 网格模型（Sgrid）转Flac3D C++ 源代码 有例子文件，C++的源代码，编译说明以及编译好的可执行文件。 可以嵌入到自己的软件中，也可以转为其他Java、Python、C#等各类代码。 GOCAD 网格模型（Sgrid）转Flac3D ...
OpenCV ONNXRuntime部署YOLOV7目标检测包含C++和Python源码+模型+说明.zip
05-02
C++代码通常用于嵌入式设备或高性能计算环境，而Python代码则适合快速原型开发和测试。通过这两种语言的实现，开发者可以根据实际需求选择最适合的方案。 源码部分可能包含以下关键组件： 1. **模型加载**：使用...
精选资源
自动驾驶控制与规划，mpc模型预测控制，ros/c++实战代码
最新发布
12-01
同时，C++代码将展示如何对车辆模型进行建模，以及如何将MPC算法嵌入到实时控制系统中。这些实战代码不仅为自动驾驶系统的开发提供了范例，也帮助开发者理解如何将理论应用于实际，解决实际问题。 本文件将是自动...
在C++中加载TorchScript模型的方法
08-25
这将产生一个 torch.jit.ScriptModule 对象，该对象的模型评估痕迹将嵌入模块的 forward 方法中。 知识点5： 通过注释转换为 TorchScript 在某些情况下，例如，如果模型采用特定形式的控制流，则可能需要直接在 ...
C++ Builder不规则图像透明贴图（位图的透明显示）三种方法及简单动画CB10.2 v1.5（资源嵌入）项目源代码
01-17
源代码项目"CB10.2 v1.5"很可能是演示了如何利用上述技术进行实际编程，通过分析和学习这个项目，开发者可以更好地理解和掌握C++ Builder中的图像透明、不规则形状处理以及资源嵌入的实际应用。同时，通过简单的动画...
yymodel 模型转字典_在C++平台上部署PyTorch模型流程+踩坑实录
weixin_39854730的博客
11-22 1184
最近因为工作需要，要把pytorch的模型部署到c++平台上，基本过程主要参照官网的教学示例，期间发现了不少坑，特此记录。1.模型转换libtorch不依赖于python，python训练的模型，需要转换为script model才能由libtorch加载，并进行推理。在这一步官网提供了两种方法：方法一：Tracing这种方法操作比较简单，只需要给模型一组输入，走一遍推理网络，然后由torch.j...
将pytorch 模型封装为c++ api 例子
东方佑
07-06 846
首先，在 Python 中定义并训练你的 PyTorch 模型。# 定义模型return x# 实例化模型# 定义损失函数和优化器# 训练模型（略）# ...# 保存模型为 TorchScript。
python训练的模型怎么在C++使用？
己亥谷雨
10-28 8495
假设我现在已经训练好了一个模型，效果挺好，想用C++调。流程就是这么个流程： 配置libtorch pytorch模型转化 编写C++调用程序 这里就先看一下第一步。怎么配置libtorch。 首先去官网下载 PyTorch https://pytorch.org/ 解压后是这个样子 使用方法呢和一般的库一样 包含目录两个 库目录一个 链接器->输入->附加依赖项，这里刚开始没写，一堆错误。干脆写全了 就是libtorch\lib目录下的所有lib文件名 ...
使用c++调用pytorch模型
薛晓伟
04-01 6516
常用的深度学习框架有pytorch、tensorflow和caffe。caffe配置太麻烦，开发维护不方便。tensorflow、pytorch都不错，开发维护都很方便。 目前深度学习大多用python进行开发维护，但某些场景需要用c++。以pytorch为例，使用c++进行开发，可以大幅提高运行速度。 首先要把模型导出： #coding=utf-8 import tor...
在c++平台上部署pytorch模型
Boys_Wu的博客
11-05 758
如何在c++平台上部署pytorch模型？ pytorch接口简单灵活，深受深度学习研究者的喜爱，不少论文及github上的开源代码是用pytorch写的，那么，训练完pytorch模型后，部署到c++平台上，着实让不少人头疼．好在，pytorch开放了libtorch c++接口，至此，caffe, mxnet, tensorflow, pytorch均完善了python以及c++接口，无论是在PC端，还是在移动端，均可满足大多数人的训练和模型部署需求． 深度学习框架趋于大同的情况下，需要耐心对各框架熟悉
C++中调用Pytorch模型
Afison的博客
07-16 1274
在C++中加载以使用 LibTorch（PyTorch 的 C++ API）时，需要进行一些设置，包括安装 LibTorch 库、配置编译器和链接器以找到库文件和头文件。
怎样c++调用pytorch训练的模型
m0_37635769的博客
05-16 1984
怎样c++调用pytorch训练的模型
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值