在 Mac 上使用 MLX 微调微软 phi3 模型

微调大语言模型是常见的需求，由于模型参数量大，即使用 Lora/Qlora 进行微调也需要 GPU 显卡，Mac M系是苹果自己的 GPU，目前主流的框架还在建立在 CUDA 的显卡架构，也就是主要的卡还是来自英伟达。如果要用 Mac 来做训练和推理，需要用MLX，MLX 类似于 Pytorch，对苹果芯片做了支持，从而使得苹果电脑也可以进行深度学习。本文将介绍如何用 MLX 训练 Phi3 大语言模型：

安装 MLX

pip install mlx-lm

模型下载推理

这里需要访问 HuggingFace 下载，可以使用国内镜像

国内镜像
https://hf-mirror.com/

export HF_ENDPOINT=https://hf-mirror.com


python -m mlx_lm.generate --model microsoft/Phi-3-mini-4k-instruct --max-token 2048 --prompt  "<|user|>\nCan you introduce yourself<|end|>\n<|assistant|>"

HF 模型转换为 MLX 模型

mlx 的命令都有一些默认值，-h 中没有具体说明， 只能去源码里看。

例如，转换完成的模型会保存到 mlx_model 目录下。

p