EigenDamage-Pytorch 使用指南

EigenDamage-Pytorch 使用指南

EigenDamage-Pytorch Code for "EigenDamage: Structured Pruning in the Kronecker-Factored Eigenbasis" https://arxiv.org/abs/1905.05934 项目地址: https://gitcode.com/gh_mirrors/ei/EigenDamage-Pytorch

1. 目录结构及介绍

EigenDamage-Pytorch 是一个实现“EigenDamage: 结构化剪枝在克罗内克分解的特征基中”论文的开源项目。以下是该项目的基本目录结构及其简介：

• configs : 存放实验所需的配置文件，每个配置详细定义了模型训练和剪枝的参数。
• imgs : 可能用于文档或示例的图像文件夹，但在提供的链接中未具体提及其实际内容。
• models : 包含模型架构相关的文件，用于预训练和剪枝后的模型操作。
• pruner : 实现了不同的剪枝算法，如 fisher_diag_pruner.py 对应 C-OBD 方法，核心的 kfac_eigen_pruner.py 实现了 EigenDamage 算法等。
• utils: 辅助函数和工具集合，支持项目中的数据处理、日志记录等功能。
• gitignore, LICENSE, README.md : 分别是忽略文件清单、软件许可协议和项目说明文档。
• main_pretrain.py, main_prune.py, main_prune_separable.py : 主要脚本文件，分别用于模型的预训练、基于 EigenDamage 的标准剪枝以及深度可分离卷积的剪枝。

2. 项目启动文件介绍

主要脚本简述

• main_pretrain.py: 用于预训练模型。通过该脚本，用户可以对指定的数据集（如CIFAR10、CIFAR100或Tiny ImageNet）进行模型的初步训练。命令行参数允许定制学习率、权重衰减等关键超参数。

• main_prune.py: 执行模型剪枝的关键脚本。根据提供的配置文件，应用 EigenDamage 或其他剪枝策略以减少模型的大小，保持性能的同时优化计算资源。

• main_prune_separable.py: 特定于执行深度可分离卷积的剪枝任务，适用于特定场景下的效率优化。

运行示例

• 预训练模型:

  python main_pretrain.py --learning_rate 0.1 --weight_decay 0.0002 --dataset cifar10 --epoch 200
  

• 执行剪枝:

  python main_prune.py --config /configs/exp_for_cifar/cifar10/vgg19/one_pass/base/kfacf_eigen_base.json
  

3. 配置文件介绍

配置文件位于 configs/ 目录下，每种实验或模型剪枝设置都有其对应的 .json 文件。这些文件详细指定了实验的具体参数，包括但不限于：

• 网络架构: 指定使用的模型类型（如VGG19）。
• 剪枝策略: 如使用哪种类型的EigenDamage或其变体。
• 数据集设置: 数据路径、类别数量等。
• 训练参数: 学习率、批次大小、是否进行微调等。
• 剪枝参数: 如剪枝的比例、保留的权重等关键参数。

通过修改这些配置文件，用户可以根据自己的需求定制训练和剪枝的过程。配置文件的阅读和理解对于精准控制实验流程至关重要。

---

此文档旨在提供一个快速入门的指导，确保开发者能够高效地理解和运用 EigenDamage-Pytorch 项目。深入研究源代码和配置文件将帮助您更好地掌握该项目的细节与高级功能。

EigenDamage-Pytorch Code for "EigenDamage: Structured Pruning in the Kronecker-Factored Eigenbasis" https://arxiv.org/abs/1905.05934 项目地址: https://gitcode.com/gh_mirrors/ei/EigenDamage-Pytorch