
Higgsfield:开源框架助力大模型训练,告别环境与配置难题!
Higgsfield是一个开源、容错且高度可扩展的GPU编排和机器学习框架,专为训练具有数十亿到数万亿参数的模型,如大语言模型(LLM)而设计。它可作为GPU工作负载管理器和机器学习框架,具备五项主要功能:
- 为用户的训练任务分配对计算资源(节点)的独占和非独占访问权限。
- 支持ZeRO - 3 deepspeed API和PyTorch的全分片数据并行API,能为万亿参数模型实现高效分片。
- 提供一个框架,用于在分配的节点上启动、执行和监控大型神经网络的训练。
- 通过维护一个运行实验的队列来管理资源竞争。
- 通过与GitHub和GitHub Actions无缝集成,促进机器学习开发的持续集成。
Higgsfield简化了大规模模型的训练过程,为开发者提供了一套通用且强大的工具集。
安装
$ pip install higgsfield==0.0.3
训练示例
要在分布式环境中训练LLaMa,你只需这样做:
from higgsfield.llama import Llama70b
from higgsfield.loaders import LlamaLoader
from higgsfield.experiment import experiment
import torch.optim as optim
from alpaca import get_alpaca_data
@experiment("alpaca")
def train(params):
model = Llama70b(zero_stage=3, fast_attn=False, precision="bf16")
optimizer = optim.AdamW(model.parameters(), lr=1e-5, weight_decay=0.0)
dataset = get_alpaca_data(split="train")
train_loader = LlamaLoader(dataset, max_words=2048)
for batch in train_loader:
optimizer.zero_grad()
loss = model(batch)
loss.backward()
optimizer.step()
model.push_to_hub('alpaca-70b')
实现原理
会在服务器上安装所有必需的工具(Docker、项目的部署密钥、Higgsfield二进制文件),然后为实验生成部署和运行工作流。一旦代码上传到GitHub,它就会自动在节点上部署。可以通过GitHub访问实验运行界面,该界面会启动实验并保存检查点。
设计理念
遵循标准的PyTorch工作流,因此除了提供的功能外,还可以集成deepspeed、accelerate,或者从头开始实现自定义的PyTorch分片。
告别环境难题
不再受不同版本的PyTorch、NVIDIA驱动程序和数据处理库的困扰。可以轻松编排实验及其环境,记录和跟踪所有依赖项的特定版本和配置,以确保可重复性。
摆脱配置困境
无需为实验定义600个参数,也不用再进行复杂的YAML配置。可以随时使用任何想要的配置方式。仅提供一个简单的接口来定义实验,甚至更进一步,现在只需设计交互方式即可。
兼容性
需要具备以下条件的节点:
- Ubuntu系统
- SSH访问权限
- 具有sudo权限的非root用户(无需密码)
已经在以下云平台上进行了测试:Azure、LambdaLabs、FluidStack。如果在其他云平台上遇到问题,请随时提交问题。
快速开始
配置
可以在这里找到如何配置节点并开始训练的快速指南:
- 初始化项目
- 设置环境
- 配置Git
现在是时候配置节点了!
运行第一个实验
系好安全带,是时候部署了!
教程
提供大语言模型训练中常见任务的API:
- 处理分布式模型
- 数据准备
- 优化模型参数
- 保存模型
- 训练稳定技术
- 监控
平台支持
| 平台 | 用途 | 预计响应时间 | 支持团队 |
|---|---|---|---|
| GitHub Issues | 错误报告、功能请求、安装问题、使用问题等 | < 1天 | Higgsfield团队 |
| 了解新功能动态 | 每日 | Higgsfield团队 | |
| 网站 | 讨论、新闻 | < 2天 | Higgsfield团队 |
535



被折叠的 条评论
为什么被折叠?



