OpenVINO 前端扩展机制详解：自定义算子映射指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00979/article/details/148440933

OpenVINO 前端扩展机制详解：自定义算子映射指南

openvino openvino: 是Intel开发的一个开源工具包，用于优化和部署AI推理，支持多种硬件平台。项目地址: https://gitcode.com/gh_mirrors/op/openvino

前言

在深度学习模型部署过程中，经常会遇到框架原生算子与推理引擎不兼容的情况。OpenVINO 提供了一套完善的前端扩展机制，允许开发者将框架中的自定义算子映射到 OpenVINO 的表示形式。本文将深入解析 OpenVINO 的前端扩展机制，帮助开发者掌握自定义算子的映射方法。

前端扩展概述

OpenVINO 前端扩展主要用于解决框架模型表示与 OpenVINO 表示之间的算子映射问题。目前支持 ONNX、TensorFlow Lite、PaddlePaddle 和 TensorFlow 等框架的新前端。

扩展机制的核心是将框架中的自定义操作转换为 OpenVINO 能够识别的操作，主要分为两种映射方式：

一对一映射（OpExtension）：单个框架操作映射为单个 OpenVINO 操作
多对多映射（ConversionExtension）：单个框架操作分解为多个 OpenVINO 操作

一对一映射：OpExtension 使用指南

OpExtension 适用于满足以下条件的场景：

输入输出数量在框架和 OpenVINO 中相同
输入输出顺序可以一一对应
属性可以直接复制或通过常量初始化

基础用法示例

以下是将 ONNX 的 Identity 操作映射到自定义 Identity 类的示例：

// 定义扩展
auto extension = std::make_shared<OpExtension<TemplateExtension::Identity>>();

// 使用扩展加载模型
ov::Core core;
core.add_extension(extension);
auto model = core.read_model("model.onnx");

映射到标准 OpenVINO 操作

如果自定义操作在功能上与 OpenVINO 标准操作相同，可以直接映射：

// 将自定义的 MyRelu 映射到标准 Relu 操作
auto extension = std::make_shared<OpExtension<ov::opset8::Relu>>("MyRelu");

属性映射策略

OpenVINO 操作的属性可以通过三种方式初始化：

自动匹配：当属性名称和类型完全匹配时
名称映射：指定框架和 OpenVINO 属性名称的对应关系
常量设置：直接为属性设置固定值

名称映射示例

// 自定义操作属性重命名
auto extension = std::make_shared<OpExtension<CustomOperation>>(
    std::map<std::string, std::string>{{"attr1", "fw_attr1"}, {"attr2", "fw_attr2"}}
);

常量设置示例

// 设置 attr2 为固定值 5
auto extension = std::make_shared<OpExtension<CustomOperation>>(
    std::map<std::string, std::string>{{"attr1", "fw_attr1"}},
    std::map<std::string, ov::Any>{{"attr2", 5}}
);

带命名输入输出的映射

对于 PaddlePaddle 等框架，操作输入输出是通过名称而非索引标识的，需要显式指定顺序：

std::vector<std::string> inputs{"A", "B", "C"};
std::vector<std::string> outputs{"X", "Y"};
auto extension = std::make_shared<OpExtension<CustomOperation>>(
    inputs, outputs,
    std::map<std::string, std::string>{{"attr1", "fw_attr1"}},
    std::map<std::string, ov::Any>{{"attr2", 5}}
);

多对多映射：ConversionExtension 使用指南

当一对一映射无法满足需求时，可以使用 ConversionExtension 将单个框架操作分解为多个 OpenVINO 操作。

典型应用场景

框架操作需要多个 OpenVINO 操作组合实现
输入输出顺序无法直接对应
需要复杂的属性转换逻辑

示例：ThresholdedRelu 实现

以下是将 ONNX 的 ThresholdedRelu 操作转换为 OpenVINO 操作组合的示例：

core.add_extension(std::make_shared<ConversionExtension>(
    "ThresholdedRelu",
    [](const NodeContext& node) {
        // 获取输入
        auto input = node.get_input(0);
        auto alpha = node.get_attribute<float>("alpha");
        
        // 构建计算图
        auto const_alpha = std::make_shared<ov::opset8::Constant>(ov::element::f32, ov::Shape{}, alpha);
        auto greater = std::make_shared<ov::opset8::Greater>(input, const_alpha);
        auto convert = std::make_shared<ov::opset8::Convert>(greater, ov::element::f32);
        auto mul = std::make_shared<ov::opset8::Multiply>(input, convert);
        
        return mul->outputs();
    }
));

OPENVINO_FRAMEWORK_MAP 宏使用指南

对于需要在多个框架间映射的通用操作，可以使用 OPENVINO_FRAMEWORK_MAP 宏在操作类内部定义映射关系。

宏参数说明

OPENVINO_FRAMEWORK_MAP(framework, name, attributes_map, attributes_values)
OPENVINO_FRAMEWORK_MAP(framework, input_names, output_names, name, attributes_map, attributes_values)

framework: 框架名称（如 "onnx", "tensorflow"）
name: 框架中的操作名称
input_names/output_names: 输入输出名称列表（PaddlePaddle 专用）
attributes_map: 属性名称映射关系
attributes_values: 属性默认值

多框架映射示例

class CustomOp : public ov::op::Op {
    OPENVINO_OP("CustomOp");
    
    OPENVINO_FRAMEWORK_MAP("onnx", "CustomOp",
        {{"m_mode", "mode"}},
        {{"m_axis", -1}}
    );
    
    OPENVINO_FRAMEWORK_MAP("tensorflow", "CustomOpV3",
        {{"m_axis", "axis"}},
        {{"m_mode", "linear"}}
    );
    
    OPENVINO_FRAMEWORK_MAP("paddle", {"X"}, {"Out"}, "CustomOp",
        {{"m_mode", "mode"}},
        {{"m_axis", -1}}
    );
};