本文对比了填0剪枝和Remove剪枝的差异，重点介绍了Remove剪枝的目的、操作以及在模型优化中的效果。通过示例展示了Remove剪枝如何减少模型参数，但可能影响网络表示能力。修剪后的模型参数减少了2,448个，对模型尺寸影响较小。"
85004282,7242371,多模态数据嵌入：知识库补全新方法,"['知识图谱', '自然语言处理', '深度学习', '多模态', '知识库']
环境
- python 3.9
- numpy 1.24.1
- pytorch 2.0.0+cu117
一、填0与remove剪枝的差异
直接填0的剪枝：
优点：
- 保留了原始网络结构，便于实现和微调。
- 部分减少模型的计算量。
缺点：
- 零权重仍然需要存储，因此不会减少内存使用。
- 一些硬件和软件无法利用稀疏计算，从而无法提高计算效率。
直接remove的剪枝：
优点：
- 可以减少模型的计算量和内存使用。
- 可以通过减少网络容量来防止过拟合。
缺点：
- 可能会降低网络的表示能力，导致性能下降。
- 需要对网络结构进行改变，这可能会增加实现和微调的复杂性。
二、remove剪枝目的
ONNX 线上预览：地址
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
