2024 年 3 月 6 日
概括
今天，我们发布了 Answer.AI 的第一个项目：一个完全开源的系统，首次可以在具有两个或更多标准游戏 GPU（RTX 3090 或 4090）的常规台式计算机上高效地训练 70b 大型语言模型。该系统结合了 FSDP 和 QLoRA，是 Answer.AI、Tim Dettmers（华盛顿大学）以及 Hugging Face 的 Titus von Koeller 和 Sourab Mangrulkar 之间合作的结果。
该系统将帮助开源社区发布更好的模型。 Teknium 是极受欢迎的 OpenHermes 模型和数据集的创建者，下载量超过 50 万次，他表示：
“有了这种能力，我们可以在本地将巨大的模型提升到新的高度，现在小型实验室也可以访问巨大的、数千亿个参数的模型。 ”
在 Answer.AI，我们将此作为我们的第一个项目，因为它是我们北极星的关键基础：帮助每个人都能使用有用的人工智能。仅仅能够使用其他人的模型是不够的。我们希望每个人都能够创建自己的个性化模型，以便他们控制自己的人工智能系统。
背景
大创意
用于训练深度学习模型的硬件有两种截然不同的级别。还有数据中心级的硬件，比如H100s、A100s，价格就几十万美元。然后是包含游戏 GPU 的台式计算机，例如双 4090，成本低于 10,000 美元（并且可以用二手零件组装而成，价格不到预构建系统价格的一半）。
但关键是：游戏 GPU 的性能与数据中心 GPU 相似，但价格高出 10 倍以上！如果我们可以使用这些便宜 10 倍（但速度几乎一样快）的卡来训练大型语言模型，那就太好了，但我们不能，因为它们的内存要少得多。目前最好的数据中心卡具有 80GB RAM，而游戏卡最大可达 24GB RAM。由于只有最大的模型才能产生最好的结果，因此大多数人基本上无法创建最好的模型。
我们意识到这实际上没有内在原因。超快的硬件就在那里，等待使用——我们只需要一种方法来为其提供模型和数据，以满足其内存限制。显而易见的问题是：为什么当时没有这样做？所有大型工业实验室都已经拥有昂贵 10 倍的硬件，因此他们并没有动力去解决这个问题。
这里的主要想法很简单：弄清楚如何使用这些更便宜、内存更低的游戏 GPU 来训练最好的可用开源模型。所以目标是这样的：仅使用游戏 GPU 训练1 个700 亿个参数 (70b) 的模型，这意味着我们的每个 GPU 内存最多为 24GB。这将是一个挑战，因为每个参数通常需要 16 位（2 个字节），因此甚至需要 70*2=140GB 来存储权重 - 而且这还不包括所有其他数据，例如激活、梯度和优化状态！
为什么是这个项目？
答：AI 是一种非常不寻常的组织类型——一个营利性研发实验室，在精神上更接近19 世纪的电力实验室，而不是今天的人工智能研究小组。 Eric Ries 和 Jeremy Howard去年在 NeurIPS 上成立该组织时，希望我们能够找到如何让大型模型训练变得廉价且易于使用的方法。
解决这个问题很难。它需要了解许多独立的库（例如，bitsandbytes、PEFT、Transformers、Accelerate 和 PyTorch）以及计算机科学和数学概念（例如，离散化、分布式计算、GPU 编程、线性代数、SGD 概念，例如梯度检查点），以及它们如何全部相互作用。
学术界充满了解决难题的才华横溢的人。但学术界尚未解决这个特殊问题。这是因为大学研究人员很难证明花时间在此类工作上是合理的。将现有工具和技术结合在一起通常被认为不够“新颖”，不足以在高影响力期刊上发表，但这正是学术界所需要的货币。此外，学者们通常被期望在其领域内变得高度专业化，这使得将如此多的部分整合到一个解决方案中具有挑战性。
当然，大型科技公司也充满了解决难题的优秀人才。但使用消费级 GPU 训练模型这一特殊问题并不是他们需要解决的问题——他们已经购买了昂贵的 GPU！许多初创公司也充满了解决难题的才华横溢的人！但是，正如埃里克·里斯 (Eric Ries) 所解释的那样，“当今的金融市场迫使企业将短期收益置于其他一切之
最低0.47元/天 解锁文章
扫一扫
278
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
