文章介绍了修剪作为压缩神经网络模型的技术，通过删除冗余权重来减小模型规模。文中提到了多个开源库和框架，如PyTorch的pruning库、slim、torch-pruning、NNI、Distiller、TinyNeuralNetwork以及MMRazor，这些工具支持非结构化和结构化剪枝，以及自动化模型压缩和优化，已在实际产品中得到应用。
修剪是一种常用的压缩神经网络模型的技术。修剪方法探索模型权重（参数）中的冗余，并尝试删除/修剪冗余和非关键权重。冗余元素从模型中修剪，它们的值归零，我们确保它们不参与反向传播过程。
-
pytorch-pruning https://github.com/jacobgil/pytorch-pruning - 一个通用的PyTorch模型剪枝库。支持非结构化剪枝和结构化剪枝。
-
slim https://github.com/Eric-mingjie/rethinking-network-pruning - 基于重要性指标的结构化剪枝框架。
-
torch-pruning https://github.com/VainF/Torch-Pruning - 实现了多种剪枝算法,如依赖性感知剪枝、L1剪枝等。
-
NNi 模型压缩工具包 https://github.com/microsoft/nni/tree/master/examples/model_compress - Microsoft 提供的多种模型剪枝算法实现。
-
Distiller https://github.com/NervanaSystems/distiller - Intel Labs公开的深度神经网络压缩工具包。
-
TinyNeuralNetwork https://github.com/alibaba/TinyNeuralNetwork/blob/main/README_zh-CN.md - 阿里的一个高效、易用的深度学习模型压缩框架。它包含模型结构搜索、剪枝、量化、模型转换等功能， 能将巨大的深度学习模型压缩数倍到数十倍，目前在天猫精灵、海尔电视、优酷视频、人脸打卡机等场景中完成了落地，为超千万的IoT设备提供了AI能力。
-
mmrazor https://github.com/open-mmlab/mmrazor - MMRazor是一个可用于模型瘦身和AutoML的模型压缩工具箱
扫一扫
2723
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
