LLaMA-Factory 入门（一）：Mac 系统下大模型微调部署的分步学习流程

LLaMA-Factory 入门（一）：Mac 系统下大模型微调部署的分步学习流程

环境准备与依赖安装

确保Mac系统版本为macOS 10.13或更高版本，建议使用M系列芯片以获得最佳性能。通过Homebrew安装Python 3.8+环境，并配置虚拟环境隔离依赖项。安装PyTorch时需选择与Mac兼容的版本，例如使用pip install torch torchvision torchaudio命令安装官方预编译版本。

验证CUDA支持（若使用AMD显卡则需安装ROCm），运行python -c "import torch; print(torch.backends.mps.is_available())"应返回True。安装LLaMA-Factory核心依赖包时需注意指定版本兼容性，典型依赖包括transformers、accelerate、peft等库，建议通过requirements.txt文件批量安装。

模型获取与量化处理

从Hugging Face官方仓库下载基础LLaMA模型权重，需注意遵守模型使用协议。对于Mac设备建议选择7B或13B参数量级，过大的模型可能导致内存溢出。使用llama.cpp工具进行4-bit量化处理，将原始FP16模型转换为GGUF格式以降低显存占用。

量化命令示例：

./quantize /path/to/llama-model.gguf /path/output/llama-q4_0.gguf q4_0

量化后模型大小可缩减至原始尺寸的30%左右，显著提升在Mac设备上的推理速度。测试阶段使用--n-gpu-layers 1参数启用Metal GPU加速。

微调配置与训练启动

创建自定义数据集JSON文件，格式应包含instruction-input-output三要素。配置LoRA微调参数时需注意：

• lora_r设置为8-32之间
• target_modules通常包含q_proj/k_proj/v_proj
• learning_rate建议2e-5到5e-5

启动训练命令示例：

python src/train_bash.py \
    --model_name_or_path /path/to/llama-7b \
    --dataset /path/to/dataset.json \
    --lora_target_modules q_proj v_proj \
    --per_device_train_batch_size 2 \
    --gradient_accumulation_steps 4

监控训练过程时可使用TensorBoard观察loss曲线，Mac用户可通过--use_mps_device参数启用Metal Performance Shaders加速。

模型测试与部署

合并LoRA适配器到基础模型：

python src/export_model.py \
    --model_name_or_path /path/to/llama-7b \
    --adapter_name_or_path /path/to/lora/adapter \
    --export_dir /path/to/merged/model

测试生成效果时建议使用不同temperature值（0.7-1.0）对比输出多样性。部署为本地API服务可使用FastAPI封装，添加--load_in_4bit参数维持低内存占用。创建systemd服务实现开机自启，注意设置Mac的launchd配置限制内存使用。

性能优化技巧

启用Flash Attention可提升20%以上推理速度，需安装flash-attn的Mac定制版本。调整max_seq_length至512或更低可显著减少内存消耗。使用vLLM优化引擎可实现请求批处理，特别适合多轮对话场景。定期使用torch.mps.empty_cache()清理显存碎片。

监控GPU利用率应通过activity monitor观察Metal性能计数器，当内存压力过大时需降低batch size。建议将频繁调用的模型部件缓存至RAMdisk，可减少约15%的加载延迟。最终部署时考虑使用量化后的GGML模型配合llama.cpp的BLAS加速。