FlexModel: A Framework for Interpretability of Distributed Large Language Models

本文是LLM系列文章，针对《FlexModel: A Framework for Interpretability of Distributed Large Language Models》的翻译。

摘要

随着大型语言模型的发展，现在包含了数十亿个参数，其训练和部署的硬件先决条件也相应增加。尽管现有的工具有助于模型并行化和分布式训练，但对可解释性和负责任的人工智能技术至关重要的更深层次的模型交互仍然需要深入了解分布式计算。这通常会阻碍具有机器学习专业知识但分布式计算背景有限的研究人员做出贡献。为了应对这一挑战，我们推出了FlexModel，这是一个软件包，提供了一个简化的界面，用于与分布在多GPU和多节点配置中的模型进行交互。该库与现有的模型分发库兼容，并封装PyTorch模型。它公开了用户可注册的HookFunctions，以方便与分布式模型内部进行直接交互，弥合了分布式和单设备模型范例之间的差距。首先，FlexModel通过民主化模型交互来增强可访问性，并促进大规模神经网络领域更具包容性的研究。该包位于https://github.com/VectorInstitute/flex_model.

1 引言

2 背景和相关工作

3 FlexModel

4 实验

5 结论

在本文中，我们引入了一个新的统一库，以推进LLM及其他方面的对齐和可解释性研究。先前的工作已经成功地提供了我们实现的许多功能。然而，现有的工作对分布式模型的支持有限或没有，大多数库只考虑一组有限的兼容模型。