[Onnx简化库深度剖析] OnnxSimplifier和OnnxOptimizer解读-(4)

[Onnx简化库深度剖析] OnnxSimplifier和OnnxOptimizer解读-(4)

简介

现在主要用于通过实操进行onnx简化库的每种pass的特性和效果。因为Pass实在太多，因此这里挑了一些效果显著的Pass进行呈现。

左边的是原始模型，右边的是特定Pass优化后的模型

OnnxOptimizer各Pass的实操和特性说明

adjust_add

• 前：常量输入是A，动态输入是B
• 后：常量输入是B, 动态输入是A
• 特性：把动态输入变成Add算子的第一个input
  

eliminate_common_subexpression

• 前：含有两个公共的表达式Y(Mul(X,Sigmoid(X)))
• 后：合并只有一个
• 特性：合并公共的结构

eliminate_if_with_const_cond

• 前：含有If算子，存在子图
• 后：没有If算子，子图被暴露
• 特性：cond确定的If算子被去除

eliminate_nop_cast

• 前：有一个Cast算子，to=float32,input_dtype=float32
• 后：没有Cast算子
• 特性：to=input_dtype的Cast被消除

eliminate_nop_flatten

• 前：存在Flatten算子
• 后：没有Flatten算子
• 特性：对shape不起作用的Flatten算子被消除

eliminate_nop_monotone_argmax

• 前：存在Y=ArgMax(Exp(X))这样的结构
• 后：只有Y=ArgMax(X)
• 特性：类似于Exp，只要是输出/输入是正相关的激活函数接入ArgMax算子后，该激活函数可以被消除而不影响结果

eliminate_nop_with_unit

• 前：存在很多乘1.0、加0.0等无效操作
• 后：去除了很多无效的操作
• 特性：消除掉同0并的And、同1乘的Mul、同0或的Or、同0加的Add、减0的Sub、除1的Div、方1的Pow、 无效的Concat

eliminate_shape_gather

• 前：Y=Gather(Shape(X))
• 后：Y=2
• 特性：X的Shape已知，那么Y就是已知的。

fuse_add_bias_into_conv

• 前：B=Add(Conv2d(X,Y), A)
• 后：B=Conv2d(X,Y,A)
• 特性：把Add常量融合进Conv2d中

fuse_bn_into_conv

• 前：Y=BN(Conv2d(X))
• 后：Y=Conv2d(X)
• 特性：把BN融合进Conv2d中,主要因为重构了Conv2d的weight和bias

fuse_consecutive_concats

• 前：存在很多axes一致的连续concat操作
• 后：只有一个concat
• 特性：合并很多axes一致的连续concat操作为一个

fuse_consecutive_log_softmax

• 前：Z=log(softmax(X))
• 后：X=logsoftmax(X)
• 特性：合并算子成为一个算子

fuse_qkv

• 前：普通的产生qkv的结构，拥有三个矩阵乘
• 后：合并为一个矩阵乘，后续用split分开
• 特性：对qkv结构特定优化

fuse_transpose_into_gemm

• 前：存在transpose执行矩阵转置操作
• 后：转置操作被gemm的transA/B属性替代
• 特性：消除transpose算子

总结

结束了，已经搞定了onnx官方的简化库的基本细节了。后面再续其他有趣的东东。