【学习笔记1】一站式大语言模型微调框架LLaMA-Factory

学习地址：https://llamafactory.cn/

学习文档：https://llamafactory.readthedocs.io/en/latest/getting_started/installation.html

github：https://github.com/hiyouga/LLaMA-Factory

---

LLaMA-Factory（Large Language Model Factory）是一个开源的、专注于大型语言模型（LLM）微调与部署的框架，由北航团队开发并维护。它通过提供低代码操作界面、丰富的算法支持以及硬件优化技术，显著降低了大模型定制化开发的技术门槛，广泛应用于智能客服、医疗诊断、法律助手等场景。

1. 核心功能与技术亮点

1. 多模型兼容性

   • 支持主流开源模型：LLaMA（包括LLaMA-2、LLaMA-3）、BLOOM、Mistral、Baichuan、Qwen、ChatGLM等。

   • 扩展性：未来计划支持Gemma、Phi-3等新架构，进一步拓宽模型适配范围。

2. 微调算法全覆盖
   • 基础微调

     全参数微调（32-bit精度）、冻结微调（16-bit精度）。

   • 高效微调

     LoRA（低秩适配）、QLoRA（4-bit量化+LoRA），显存占用降低至单卡消费级GPU（如RTX 3090）即可训练7B/13B模型。

   • 强化学习