Oumi是一个完全开源的平台,可以简化基础模型的整个生命周期——从数据准备和培训到评估和部署。无论您是在笔记本电脑上开发,在集群上启动大规模实验,还是在生产中部署模型,Oumi都能提供您需要的工具和工作流程。
使用Oumi,您可以:
-
🚀使用最先进的技术(SFT、LoRA、QLoRA、DPO等)将模型从10M到405B参数进行训练和微调
-
🤖使用文本和多模态模型(Llama、DeepSeek、Qwen、Phi等)
-
🔄与法学硕士评委一起综合和策划培训数据
-
⚡️使用流行的推理引擎(vLLM、SGLang)高效部署模型
-
📊跨标准基准全面评估模型
-
🌎在任何地方运行——从笔记本电脑到集群再到云(AWS、Azure、GCP、Lambda等)
-
🔌与开放模型和商业API(OpenAI、Anthropic、Vertex AI、Parasail......)集成
所有这些都具有一个一致的API、生产级可靠性以及研究所需的所有灵活性。Oumi目前处于测试阶段,正在积极开发中。
安装:
pip install oumi
先拉源码(为训练做准备):
git clone https://github.com/oumi-ai/oumi.git
设置hf镜像(为拉模型做准备):
export HF_ENDPOINT=https://hf-mirror.com
训练,以smollm135m模型为例:
oumi train -c configs/recipes/smollm/sft/135m/quickstart_train.yaml
训练完成后,模型保存为output/smollm135m.fft
评估:
oumi evaluate -c configs/recipes/smollm/evaluation/135m/quickstart_eval.yaml \
--model.model_name output/smollm135m.fft
推理:
oumi infer -c configs/recipes/smollm/inference/135m_infer.yaml \
--model.model_name output/smollm135m.fft \
--generation.max_new_tokens 40 \
--generation.temperature 0.7 \
--interactive
若需要使用云上资源进行训练,它支持GCP(谷歌)/AWS(亚马逊)/Azure(微软)等云平台,注册对应的云账号后,使用以下命令即可开始训练,以GCP(谷歌)为例:
oumi launch up -c configs/recipes/smollm/sft/135m/quickstart_gcp_job.yaml
注意:本地需要安装对应云资源的版本,如:
pip install oumi[gcp]
模型评估:
oumi launch up -c configs/recipes/smollm/evaluation/135m/quickstart_gcp_job.yaml