PyHessian 项目使用教程

PyHessian 项目使用教程

PyHessian PyHessian is a Pytorch library for second-order based analysis and training of Neural Networks 项目地址: https://gitcode.com/gh_mirrors/py/PyHessian

1. 项目的目录结构及介绍

PyHessian 项目的目录结构如下：

PyHessian/
├── checkpoints/
├── misc/
├── models/
├── pyhessian/
├── .gitignore
├── Hessian_Tutorial.ipynb
├── LICENSE
├── README.md
├── density_plot.py
├── example_pyhessian_analysis.py
├── publication_list.md
├── setup.py
├── training.py
└── utils.py

目录结构介绍：

• checkpoints/：用于存储训练过程中的模型检查点文件。
• misc/：存放一些杂项文件。
• models/：包含神经网络模型的定义文件。
• pyhessian/：PyHessian 库的核心代码文件夹。
• .gitignore：Git 忽略文件配置。
• Hessian_Tutorial.ipynb：Hessian 分析的 Jupyter Notebook 教程。
• LICENSE：项目的开源许可证文件。
• README.md：项目的介绍和使用说明。
• density_plot.py：用于生成 Hessian 特征值密度图的脚本。
• example_pyhessian_analysis.py：示例脚本，用于执行 Hessian 分析。
• publication_list.md：与 PyHessian 相关的出版物列表。
• setup.py：用于安装 PyHessian 库的脚本。
• training.py：用于训练神经网络模型的脚本。
• utils.py：包含一些实用工具函数。

2. 项目的启动文件介绍

training.py

training.py 是用于训练神经网络模型的启动文件。它支持训练 ResNet20 模型在 CIFAR-10 数据集上。

主要参数：

• --batch-size：训练批次大小（默认：128）。
• --test-batch-size：测试批次大小（默认：256）。
• --epochs：训练的总轮数（默认：180）。
• --lr：初始学习率（默认：0.1）。
• --lr-decay：学习率衰减比率（默认：0.1）。
• --lr-decay-epoch：学习率衰减的轮数（默认：80, 120）。
• --seed：用于重现结果的随机种子（默认：1）。
• --weight-decay：权重衰减值（默认：5e-4）。
• --batch-norm：是否在 ResNet 中使用批量归一化（默认：True）。
• --residual：是否使用残差连接（默认：True）。
• --cuda：是否使用 GPU（默认：True）。
• --saving-folder：最终检查点文件的保存路径（默认：checkpoints/）。

example_pyhessian_analysis.py

example_pyhessian_analysis.py 是用于执行 Hessian 分析的启动文件。它可以计算 Hessian 矩阵的顶部特征值、迹和特征值谱密度。

主要参数：

• --mini-hessian-batch-size：Hessian 计算的最小批次大小（默认：200）。
• --hessian-batch-size：Hessian 计算的批次大小（默认：200）。
• --seed：用于重现结果的随机种子（默认：1）。
• --batch-norm：是否在 ResNet 中使用批量归一化（默认：True）。
• --residual：是否使用残差连接（默认：True）。
• --cuda：是否使用 GPU（默认：True）。
• --resume：恢复检查点文件的路径（默认：无，必须由用户填写）。

3. 项目的配置文件介绍

setup.py

setup.py 是用于安装 PyHessian 库的配置文件。通过运行以下命令可以安装 PyHessian：

pip install pyhessian

或者从源代码安装：

git clone https://github.com/amirgholami/PyHessian.git
cd PyHessian
python setup.py install

.gitignore

.gitignore 文件用于配置 Git 忽略的文件和目录，防止不必要的文件被提交到版本库中。

LICENSE

LICENSE 文件包含了 PyHessian 项目的开源许可证信息，该项目使用 MIT 许可证。

README.md

README.md 文件是项目的介绍和使用说明文档，包含了项目的概述、安装方法、使用示例等内容。

publication_list.md

publication_list.md 文件列出了与 PyHessian 相关的出版物，方便用户了解和引用相关研究成果。

PyHessian PyHessian is a Pytorch library for second-order based analysis and training of Neural Networks 项目地址: https://gitcode.com/gh_mirrors/py/PyHessian