Oumi开源模型训练平台-mac尝试

Oumi是一个完全开源的平台,可以简化基础模型的整个生命周期——从数据准备和培训到评估和部署。无论您是在笔记本电脑上开发,在集群上启动大规模实验,还是在生产中部署模型,Oumi都能提供您需要的工具和工作流程。

使用Oumi,您可以:

  • 🚀使用最先进的技术(SFT、LoRA、QLoRA、DPO等)将模型从10M到405B参数进行训练和微调

  • 🤖使用文本和多模态模型(Llama、DeepSeek、Qwen、Phi等)

  • 🔄与法学硕士评委一起综合和策划培训数据

  • ⚡️使用流行的推理引擎(vLLM、SGLang)高效部署模型

  • 📊跨标准基准全面评估模型

  • 🌎在任何地方运行——从笔记本电脑到集群再到云(AWS、Azure、GCP、Lambda等)

  • 🔌与开放模型和商业API(OpenAI、Anthropic、Vertex AI、Parasail......)集成

所有这些都具有一个一致的API、生产级可靠性以及研究所需的所有灵活性。Oumi目前处于测试阶段,正在积极开发中。

安装:

pip install oumi

先拉源码(为训练做准备):

git clone https://github.com/oumi-ai/oumi.git

设置hf镜像(为拉模型做准备):

export HF_ENDPOINT=https://hf-mirror.com

训练,以smollm135m模型为例:

oumi train -c configs/recipes/smollm/sft/135m/quickstart_train.yaml

训练完成后,模型保存为output/smollm135m.fft

评估:

oumi evaluate -c configs/recipes/smollm/evaluation/135m/quickstart_eval.yaml \
  --model.model_name output/smollm135m.fft

推理:

oumi infer -c configs/recipes/smollm/inference/135m_infer.yaml \
  --model.model_name output/smollm135m.fft \
  --generation.max_new_tokens 40 \
  --generation.temperature 0.7 \
  --interactive

若需要使用云上资源进行训练,它支持GCP(谷歌)/AWS(亚马逊)/Azure(微软)等云平台,注册对应的云账号后,使用以下命令即可开始训练,以GCP(谷歌)为例:

oumi launch up -c configs/recipes/smollm/sft/135m/quickstart_gcp_job.yaml

注意:本地需要安装对应云资源的版本,如:

pip install oumi[gcp]

模型评估:

oumi launch up -c configs/recipes/smollm/evaluation/135m/quickstart_gcp_job.yaml

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

jacky_wxl(微信同号)

喜欢作者

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值