静态模型、动态模型

静态模型-离线训练

  • 易于构建和测试-使用批量训练和测试,对其进行迭代,直到达到良好效果
  • 仍然需要对输入进行监控
  • 模型容易过时

动态模型-在线训练

  • 随着时间的推移不断为训练数据注入新的数据,定期更新同步版本
  • 使用渐进式验证,而不是批量训练和测试
  • 需要监控、模型回滚和数据隔离
  • 会根据变化作出相应调整,避免了过时问题

学习谷歌机器学习速成

### ONNX 静态模型动态模型的区别 #### 定义与概念 静态量化是指在训练完成后,通过对整个数据集或其子集进行推理来收集统计信息,并基于这些统计数据确定量化的参数[^1]。而动态量化则是在运行时根据输入的数据实时调整量化参数,不需要预先准备校准数据集。 #### 实现方式 对于静态量化,在应用量化之前先执行一次完整的前向传播过程以获取激活值范围的信息;而对于动态量化,则只需调用 `ONNXRuntime` 提供的特定接口如 `quantize_dynamic()` 来完成转换工作,无需额外处理步骤。 #### 性能影响 通常情况下,由于静态量化可以利用更精确地计算得到的最佳量化比例因子,因此可能会带来更好的精度保留效果以及潜在更高的性能优化空间。相比之下,尽管动态量化简化了部署流程并减少了前期准备工作,但在某些场景下可能无法达到相同水平的表现。 #### 可视化比较 为了直观地区分这两种类型的模型结构差异,可以通过 Netron 工具加载相应的 `.onnx` 文件来进行查看。例如: ```python import netron netron.start("./Static_QuantizedModel.onnx") # 加载静态量化后的模型 netron.start("./Dynamic_QuantizedModel.onnx") # 加载动态量化后的模型 ``` 上述代码片段展示了如何分别启动两个不同版本(静态和动态)已量化的 ONNX 模型文件以便于观察它们内部节点的变化情况[^2]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值