sherpa-onnx模型优化工具：ONNX Simplifier使用指南
项目地址: https://gitcode.com/GitHub_Trending/sh/sherpa-onnx 引言：为什么需要ONNX模型简化？
在深度学习模型部署流程中，ONNX（Open Neural Network Exchange）作为跨框架的模型中间表示格式，扮演着至关重要的角色。然而，训练框架导出的ONNX模型往往包含冗余节点、未使用的权重和控制流操作，这些都会导致模型体积增大、推理速度下降，尤其在资源受限的嵌入式设备上更为明显。
ONNX Simplifier（简称onnxsim）是一款专注于ONNX模型优化的轻量级工具，它能够：
- 移除冗余的Constant、Identity节点
- 折叠BatchNorm与Conv层融合
- 消除死代码和未使用的初始值
- 简化控制流和张量形状操作
- 保持模型精度不变的前提下减小文件体积30%-70%
本文将系统介绍如何在sherpa-onnx项目中集成ONNX Simplifier，通过10个实战步骤实现模型优化全流程，并提供5类场景化解决方案。
技术背景：ONNX模型优化原理
ONNX模型结构解析
ONNX模型采用计算图（Computational Graph）表示，由以下核心组件构成：
图1：ONNX模型的protobuf结构层次
常见冗余模式分析
训练框架导出的ONNX模型通常存在以下优化空间：
| 冗余类型 | 示例场景 | 优化效果 |
|---|---|---|
| 常量折叠 | y = x + 0 → y = x | 减少20%节点数 |
| 算子融合 | Conv + BatchNorm → ConvBN | 降低40%内存访问 |
| 形状推断 | 动态维度静态化 | 提升推理速度15% |
| 死代码消除 | 未连接的分支节点 | 减小模型体积30% |
表1：ONNX模型主要冗余类型及优化收益
环境准备：安装与配置
基础安装命令
# 使用pip安装最新稳定版
pip install onnxsim
# 安装开发版（包含最新特性）
pip install git+https://github.com/daquexian/onnx-simplifier.git
# 验证安装
onnxsim --version # 应输出0.4.33+版本
集成到sherpa-onnx构建流程
在项目根目录的scripts/文件夹下创建优化脚本optimize_onnx_model.sh：
#!/bin/bash
# 模型优化脚本：支持批量处理与日志记录
set -euo pipefail
# 配置参数
INPUT_DIR="./models"
OUTPUT_DIR="./models/optimized"
LOG_FILE="./onnx_optimization.log"
MIN_SIZE_REDUCE=10240 # 最小优化收益（10KB）
# 创建输出目录
mkdir -p "$OUTPUT_DIR"
echo "[$(date)] Starting ONNX optimization batch process" > "$LOG_FILE"
# 批量处理所有ONNX模型
find "$INPUT_DIR" -name "*.onnx" | while read -r model_path; do
filename=$(basename "$model_path")
output_path="$OUTPUT_DIR/$filename"
# 执行优化（保留原始模型精度）
onnxsim "$model_path" "$output_path" \
--skip_fuse_bn \
--input_shapes "input:1x32000" \
--verbose 2 >> "$LOG_FILE" 2>&1
# 验证优化效果
orig_size=$(stat -c%s "$model_path")
new_size=$(stat -c%s "$output_path")
size_reduce=$((orig_size - new_size))
if [ $size_reduce -gt $MIN_SIZE_REDUCE ]; then
echo "[$(date)] Optimized $filename: $orig_size → $new_size bytes ($((size_reduce/1024))KB saved)" >> "$LOG_FILE"
echo "Optimized $filename ($((size_reduce/1024))KB saved)"
else
echo "[$(date)] Skipped $filename (insufficient reduction: $size_reduce bytes)" >> "$LOG_FILE"
rm "$output_path"
fi
done
echo "[$(date)] Batch optimization completed. Results in $OUTPUT_DIR" >> "$LOG_FILE"
核心功能：命令行参数全解析
基础优化命令
# 最简用法
onnxsim input_model.onnx output_model.onnx
# 指定输入形状（解决动态维度问题）
onnxsim --input_shapes "audio:1x32000" input.onnx output.onnx
# 保留中间张量（用于调试）
onnxsim --keep_intermediate_tensors input.onnx output.onnx
高级优化选项
# 禁用特定优化（如BatchNorm融合）
onnxsim --skip_fuse_bn input.onnx output.onnx
# 设置优化级别（0-3，级别越高优化越激进）
onnxsim --optimize_level 3 input.onnx output.onnx
# 使用自定义规则文件
onnxsim --custom_rules ./my_rules.py input.onnx output.onnx
参数优先级说明
ONNX Simplifier的参数应用顺序为：
- 命令行显式参数 > 配置文件参数 > 默认值
- 输入形状指定会覆盖模型中原有的动态维度
- 优化级别3会自动启用所有可用优化规则
实战指南：10步优化流程
步骤1：模型准备与验证
# 检查原始模型有效性
onnxchecker input_model.onnx
# 查看模型结构（前10个节点）
onnxsim --view input_model.onnx | head -n 30
步骤2：基础优化（默认参数）
onnxsim input_model.onnx optimized_basic.onnx
步骤3：形状推断优化
# 针对语音识别模型的典型配置
onnxsim --input_shapes "feats:1x80x300" \
--dynamic_input_shape \
input_model.onnx optimized_shape.onnx
步骤4：算子融合控制
# 仅融合Conv与Relu，不融合BatchNorm
onnxsim --fuse_conv_relu \
--skip_fuse_bn \
input_model.onnx optimized_fused.onnx
步骤5：量化感知优化
# 为后续INT8量化做准备
onnxsim --quantize_aware \
--keep_io_types \
input_model.onnx optimized_quant.onnx
步骤6：模型验证与对比
# 输出优化前后的模型结构差异
onnxsim --diff input_model.onnx optimized_final.onnx
# 数值精度验证（最大误差阈值0.001）
python -m onnxsim.check --atol 1e-3 input_model.onnx optimized_final.onnx
步骤7：性能基准测试
import onnxruntime as ort
import time
def benchmark_model(model_path, iterations=100):
sess = ort.InferenceSession(model_path)
input_name = sess.get_inputs()[0].name
input_shape = sess.get_inputs()[0].shape
dummy_input = np.random.rand(*input_shape).astype(np.float32)
# 预热运行
for _ in range(10):
sess.run(None, {input_name: dummy_input})
# 正式计时
start = time.perf_counter()
for _ in range(iterations):
sess.run(None, {input_name: dummy_input})
end = time.perf_counter()
return (end - start) / iterations * 1000 # 平均延迟(ms)
# 对比优化前后性能
original_latency = benchmark_model("input_model.onnx")
optimized_latency = benchmark_model("optimized_final.onnx")
print(f"Latency reduction: {(original_latency - optimized_latency)/original_latency:.2%}")
步骤8：集成到CI/CD流水线
在项目的.github/workflows/optimize_models.yml中添加：
name: ONNX Optimization
on: [push]
jobs:
optimize:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v3
- name: Set up Python
uses: actions/setup-python@v4
with:
python-version: '3.9'
- name: Install dependencies
run: pip install onnxsim onnxruntime
- name: Run optimization
run: bash scripts/optimize_onnx_model.sh
- name: Upload optimized models
uses: actions/upload-artifact@v3
with:
name: optimized-models
path: models/optimized/*.onnx
步骤9：异常处理与日志分析
常见错误及解决方案：
| 错误类型 | 错误信息 | 解决方法 |
|---|---|---|
| 形状不匹配 | Shape mismatch in node | 使用--input_shapes指定正确维度 |
| 不支持的算子 | Unsupported op type: Swish | 更新onnxsim到最新版本 |
| 循环依赖 | Cycle detected in graph | 添加--skip_eliminate_identity参数 |
| 精度损失 | Max error exceeds threshold | 降低优化级别或使用--atol参数 |
表2：ONNX优化常见错误及解决方案
步骤10：版本控制与迭代
# 创建优化记录文件
cat > optimization_history.md << EOF
## 模型优化记录
| 日期 | 优化版本 | 模型大小 | 推理延迟 | 精度变化 |
|------|---------|---------|---------|---------|
| $(date +%Y-%m-%d) | v1.0 | $(stat -c%s output_model.onnx) bytes | $(benchmark_model output_model.onnx) ms | ±0% |
EOF
场景化解决方案
场景1：语音识别模型优化
针对sherpa-onnx中的流式ASR模型：
onnxsim --input_shapes "feats:1x80x300,state_h:2x1x1024,state_c:2x1x1024" \
--dynamic_input_shape \
--fuse_rnn \
streaming_asr.onnx optimized_asr.onnx
优化效果对比：
图2：语音识别模型优化效果雷达图
场景2：文本转语音(TTS)模型优化
# 针对Transformer架构TTS模型
onnxsim --input_shapes "text:1x50" \
--skip_fuse_bn \
--keep_io_types \
tts_model.onnx optimized_tts.onnx
场景3：移动端部署优化
# 极致减小模型体积
onnxsim --optimize_level 3 \
--strip_unused_initializers \
--skip_optional_initializers \
input.onnx mobile_optimized.onnx
场景4：多模型批量优化
创建批量处理脚本batch_optimize.py：
import os
import subprocess
from glob import glob
def batch_optimize(input_dir, output_dir, input_shapes=None):
os.makedirs(output_dir, exist_ok=True)
for model_path in glob(os.path.join(input_dir, "*.onnx")):
filename = os.path.basename(model_path)
output_path = os.path.join(output_dir, filename)
cmd = ["onnxsim", model_path, output_path]
if input_shapes:
cmd.extend(["--input_shapes", input_shapes])
subprocess.run(cmd, check=True)
print(f"Optimized {filename}")
if __name__ == "__main__":
batch_optimize(
input_dir="./models/original",
output_dir="./models/optimized",
input_shapes="audio:1x32000"
)
场景5：与sherpa-onnx构建系统集成
修改cmake/onnxruntime.cmake文件，添加优化步骤：
# 在模型下载后自动执行优化
add_custom_command(
OUTPUT ${OPTIMIZED_MODEL_PATH}
COMMAND onnxsim ${RAW_MODEL_PATH} ${OPTIMIZED_MODEL_PATH}
DEPENDS ${RAW_MODEL_PATH}
COMMENT "Optimizing ONNX model with onnxsim"
)
# 将优化后的模型作为目标依赖
add_custom_target(
optimize_models ALL
DEPENDS ${OPTIMIZED_MODEL_PATH}
)
高级技巧：自定义优化规则
编写自定义优化规则
创建custom_rules.py：
import onnx
from onnxsim import Simplifier, RuleBase
class RemoveCustomIdentity(RuleBase):
"""移除项目特定的Identity变体算子"""
def apply(self, graph):
modified = False
for node in list(graph.node):
if node.op_type == "CustomIdentity":
# 用输入直接连接到输出
graph.node.remove(node)
modified = True
return modified
# 注册自定义规则
Simplifier.register_rule(RemoveCustomIdentity)
使用自定义规则：
onnxsim --custom_rules ./custom_rules.py input.onnx output.onnx
量化与优化联合处理
# 先优化再量化
onnxsim input.onnx optimized.onnx && \
onnxruntime quantization --input_model optimized.onnx \
--output_model quantized.onnx \
--quant_format QDQ \
--per_channel
常见问题解答
Q1：优化后的模型在某些推理引擎上运行失败怎么办？
A1：可以使用--keep_original_output_names参数保留原始输出名称，或通过--skip_fuse_*系列参数禁用特定融合规则。如果问题仍然存在，可以提交issue到ONNX Simplifier仓库，并附上模型和错误日志。
Q2：如何平衡优化程度和模型稳定性？
A2：建议采用渐进式优化策略：
- 先用默认参数(--optimize_level 1)进行基础优化
- 验证通过后尝试级别2
- 关键业务场景建议保留优化前后的模型对比测试
Q3：是否支持ONNX 1.12及以上版本的新特性？
A3：onnxsim v0.4.30+完全支持ONNX 1.12规范，包括Transformer相关算子和动态形状特性。使用--enable_onnx_checker参数可以验证优化后模型的规范性。
性能评估：量化指标与测试方法
评估指标体系
| 维度 | 指标 | 测试方法 |
|---|---|---|
| 模型体积 | 文件大小(KB) | stat -c%s model.onnx |
| 推理速度 | 平均延迟(ms) | 多次运行取平均值 |
| 内存占用 | 峰值内存(MB) | 使用onnxruntime的内存分析工具 |
| 精度保持 | WER/CER变化 | 测试集准确率对比 |
| 兼容性 | 引擎支持度 | 在不同推理引擎上验证 |
表3：模型优化效果评估指标体系
自动化评估脚本
import os
import json
import subprocess
import numpy as np
def evaluate_optimization(original_path, optimized_path, test_data_path):
"""评估优化前后模型的各项指标"""
result = {
"original": {},
"optimized": {},
"delta": {}
}
# 模型大小
result["original"]["size"] = os.path.getsize(original_path)
result["optimized"]["size"] = os.path.getsize(optimized_path)
result["delta"]["size"] = (result["optimized"]["size"] - result["original"]["size"]) / result["original"]["size"]
# 推理延迟（使用onnxruntime）
result["original"]["latency"] = float(subprocess.check_output(
["./measure_latency.sh", original_path, test_data_path]
))
result["optimized"]["latency"] = float(subprocess.check_output(
["./measure_latency.sh", optimized_path, test_data_path]
))
result["delta"]["latency"] = (result["original"]["latency"] - result["optimized"]["latency"]) / result["original"]["latency"]
# 精度评估（假设存在评估脚本）
result["original"]["wer"] = float(subprocess.check_output(
["./evaluate_wer.sh", original_path, test_data_path]
))
result["optimized"]["wer"] = float(subprocess.check_output(
["./evaluate_wer.sh", optimized_path, test_data_path]
))
result["delta"]["wer"] = result["optimized"]["wer"] - result["original"]["wer"]
# 保存结果
with open("optimization_evaluation.json", "w") as f:
json.dump(result, f, indent=2)
return result
未来展望与进阶方向
ONNX Simplifier roadmap
ONNX Simplifier团队计划在未来版本中支持：
- 自动量化感知优化
- 针对特定硬件的优化规则
- 模型剪枝与优化的联合处理
- 可视化优化过程的Web界面
与sherpa-onnx的深度集成
建议在sherpa-onnx中添加以下特性：
- 模型优化配置文件（onnxsim_config.json）
- 优化前后性能对比工具
- 预优化模型仓库与版本管理
总结与行动指南
通过本文介绍的ONNX Simplifier优化流程，您可以系统性地减小sherpa-onnx模型体积30%-70%，提升推理速度15%-40%，同时保持模型精度不变。关键步骤包括：
- 环境准备：
pip install onnxsim - 基础优化：
onnxsim input.onnx output.onnx - 场景适配：根据模型类型调整参数
- 验证评估：对比优化前后各项指标
- 持续集成：集成到CI/CD流程实现自动化
立即行动：
- 克隆项目仓库：
git clone https://gitcode.com/GitHub_Trending/sh/sherpa-onnx - 尝试优化示例模型：
cd python-api-examples && python optimize_model_demo.py - 分享您的优化结果到项目讨论区
收藏本文，关注项目更新，获取ONNX模型优化的最新最佳实践！
附录：参考资源
- ONNX Simplifier官方文档：https://github.com/daquexian/onnx-simplifier
- ONNX规范：https://github.com/onnx/onnx
- sherpa-onnx模型库：项目内的
models/目录
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
