openvino推理保姆教学

 一：初始化

ov::Core core;
//实例化并加载模型
std::shared_ptr<ov::Model> model = core.read_model(model_param.c_str());
//选用什么推理方式 CPU or GPU
ov::CompiledModel compiled_model = core.compile_model(model , "CPU");
// 推理请求
infer_request = compiled_model.create_infer_request();


 // 获得形状
 ov::Shape input_shape = model ->input().get_shape();
 input_width = input_shape_shape[3];
 input_height = input_shape_shape[2];
 input_channel = input_shape_shape[1];
 ov::Shape output_shape = model ->output().get_shape();
 output_width = output_shape[3];
 output_height = output_shape[2];
 output_channel = output_shape[1];
//这些可以当初全局变量，或者当作为程序变换

二：推理（分割模型举例 （N,C,H,W）-> (N,C,H,W)）

  cv::Mat blob = cv::dnn::blobFromImage(bgr, 1.0 / 255.0, cv::Size(input_width,input_height), cv::Scalar(), false, false);

 ov::Tensor input_tensor = infer_request.get_input_tensor();
 std::memcpy(input_tensor.data<float>(), blob.data, input_tensor.get_byte_size());

 infer_request.infer();

 ov::Tensor output_tensor = infer_request.get_output_tensor();
 float* output_data = output_tensor.data<float>();

然后就输出指针你想怎么折腾就怎么折腾去吧。

就是那么简单，没什么技术含量，主打一个调api就行