Oumi开源模型训练平台-mac尝试

Oumi是一个完全开源的平台，可以简化基础模型的整个生命周期——从数据准备和培训到评估和部署。无论您是在笔记本电脑上开发，在集群上启动大规模实验，还是在生产中部署模型，Oumi都能提供您需要的工具和工作流程。

使用Oumi，您可以：

• 🚀使用最先进的技术（SFT、LoRA、QLoRA、DPO等）将模型从10M到405B参数进行训练和微调

• 🤖使用文本和多模态模型（Llama、DeepSeek、Qwen、Phi等）

• 🔄与法学硕士评委一起综合和策划培训数据

• ⚡️使用流行的推理引擎（vLLM、SGLang）高效部署模型

• 📊跨标准基准全面评估模型

• 🌎在任何地方运行——从笔记本电脑到集群再到云（AWS、Azure、GCP、Lambda等）

• 🔌与开放模型和商业API（OpenAI、Anthropic、Vertex AI、Parasail......）集成

所有这些都具有一个一致的API、生产级可靠性以及研究所需的所有灵活性。Oumi目前处于测试阶段，正在积极开发中。

安装：

pip install oumi

先拉源码（为训练做准备）：

git clone https://github.com/oumi-ai/oumi.git

设置hf镜像（为拉模型做准备）：

export HF_ENDPOINT=https://hf-mirror.com

训练，以smollm135m模型为例：

oumi train -c configs/recipes/smollm/sft/135m/quickstart_train.yaml

训练完成后，模型保存为output/smollm135m.fft

评估：

oumi evaluate -c configs/recipes/smollm/evaluation/135m/quickstart_eval.yaml \
  --model.model_name output/smollm135m.fft

推理：

oumi infer -c configs/recipes/smollm/inference/135m_infer.yaml \
  --model.model_name output/smollm135m.fft \
  --generation.max_new_tokens 40 \
  --generation.temperature 0.7 \
  --interactive

若需要使用云上资源进行训练，它支持GCP（谷歌）/AWS（亚马逊）/Azure（微软）等云平台，注册对应的云账号后，使用以下命令即可开始训练，以GCP（谷歌）为例：

oumi launch up -c configs/recipes/smollm/sft/135m/quickstart_gcp_job.yaml

注意：本地需要安装对应云资源的版本，如：

pip install oumi[gcp]

模型评估：

oumi launch up -c configs/recipes/smollm/evaluation/135m/quickstart_gcp_job.yaml