Only-Train-Once (OTO) 项目推荐

Only-Train-Once (OTO) 项目推荐

only_train_once [ICLR 2023] OTOv2: Automatic, Generic, User-Friendly; [NeurIPS 2021] Only Train Once: A One-Shot Neural Network Training And Pruning Framework 项目地址: https://gitcode.com/gh_mirrors/on/only_train_once

1. 项目基础介绍和主要编程语言

Only-Train-Once（OTO）是一个由优快云公司开发的自动化深度神经网络训练和压缩框架。该项目基于PyTorch实现，旨在为用户提供一种简洁、高效的方式来训练和压缩深度神经网络。主要使用的编程语言是Python。

2. 项目核心功能

OTO框架的核心功能包括：

• 自动化训练和压缩：用户可以通过OTO框架一次性完成深度神经网络的训练和压缩，无需后续的微调。
• 结构剪枝和擦除操作：OTO通过结构剪枝和擦除操作来压缩网络，提高模型的效率。
• 通用架构无关性：OTO框架对网络架构具有高度的兼容性，可以应用于不同的深度学习模型。
• 一键生成压缩网络：经过训练后，OTO可以自动生成压缩后的网络模型，而且输出的结果与原始模型相同，无需额外微调。

3. 项目最近更新的功能

根据项目最新的更新，以下是一些最近添加的功能：

• 新增的优化器：OTO框架新增了一种名为HESSO的优化器，用于探索组稀疏性，以更可靠的方式找到冗余的剪枝组，提高模型的泛化性能。
• 可视化和调试工具：为了帮助用户更好地理解和应用OTO，项目提供了可视化工具，用于显示剪枝依赖图和擦除依赖图。
• sanity check测试：为各种深度神经网络提供了sanity check测试，以确保OTO框架的正确性和兼容性。
• 文档和教程的完善：项目增加了更多的文档和教程，帮助用户更方便地使用和集成OTO框架。

通过这些更新，OTO框架不仅提高了性能和稳定性，还增强了用户友好性和易用性。

only_train_once [ICLR 2023] OTOv2: Automatic, Generic, User-Friendly; [NeurIPS 2021] Only Train Once: A One-Shot Neural Network Training And Pruning Framework 项目地址: https://gitcode.com/gh_mirrors/on/only_train_once