22、模型优化与少标签数据处理策略

模型优化与少标签数据处理策略

一、模型优化：量化与剪枝

1.1 模型性能指标

在模型评估中，有几个关键指标值得关注：
| 指标 | 值 |
| ---- | ---- |
| 模型大小 (MB) | 64.20 |
| 平均延迟 (ms) | 9.24 ± 0.29 |
| 测试集准确率 | 0.877 |

通过 plot_metrics(perf_metrics, optim_type) 函数可以对这些性能指标进行可视化展示。

1.2 量化优化

ORT 量化相较于 PyTorch 量化，能将模型大小和延迟降低约 30%。原因在于 PyTorch 仅优化 nn.Linear 模块，而 ONNX 还对嵌入层进行量化。

1.3 权重剪枝

当对模型的内存占用有严格限制时，权重剪枝是一种有效的策略。其核心思想是在训练过程中逐渐移除权重连接（可能还有神经元），使模型变得更加稀疏。剪枝后的模型非零参数数量减少，可以采用紧凑的稀疏矩阵格式存储，并且还能与量化结合以实现进一步的压缩。

1.3.1 剪枝方法的数学原理

大多数权重剪枝方法的工作方式是计算一个重要性得分矩阵 $S$，然后选择重要性排名前 $k$ 百分比的权重：
[
Topk_{ij} =
\begin{cases}
1, & \text{如果 } S_{ij} \text{ 在 top } k\% \
0, & \text{否则