10 分钟，教你如何用 LLama-Factory 训练和微调 LLama3 模型

原创

已于 2024-05-21 17:02:28 修改 · 1w 阅读

50 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #深度学习 #llama

于 2024-05-21 15:55:02 首次发布

本文将探讨于2024年3月21日发布的LLama-Factory，并学习如何使用 DigitalOcean 旗下的 Paperspace平台对 LLama 3 进行微调。为了完成我们的任务，我们将使用 NVIDIA A4000 GPU，它被认为是功能最强大的单插槽 GPU 之一，能够无缝集成到各种工作站中。

RTX A4000 采用了 NVIDIA Ampere 架构，集成了 48 个第二代 RT Core、192 个第三代 Tensor Core 和 6144 个CUDA 核心，以及带有错误校正码（ECC）的 16GB 图形内存。这些配置确保了它能为创新项目提供精确可靠的计算能力。

一直以来，微调大语言模型一直是一项复杂的任务，主要由深谙机器学习和人工智能的工程师完成。然而，随着人工智能领域的不断发展，这一观念正在迅速改变。类似 LLama-Factory 等新工具的出现，使得微调过程更加便捷和高效。此外，现在还可以使用 DPO、ORPO、PPO 和 SFT 等技术进行微调和模型优化。更进一步说，大家现在可以有效地训练和微调如 LLama、Mistral、Falcon 等模型。

什么是模型的微调？

微调模型涉及调整预训练模型或基础模型的参数，这些参数可用于特定任务或数据集，可以提高模型的性能和准确性。这个过程涉及向模型提供新数据并修改其权重、偏差和某些参数。通过这种方式，可以让这个新模型可以在新任务或数据集上获得更好的表现，而无需为了新任务或数据从头开始开发一个模型，从而节省时间和资源。

通常，当创建新的大语言模型（LLM）时，它会在大量文本数据上进行训练，这些数据可能包含潜在的有害的数据。在预训练或初始训练阶段之后，该模型会被进行微调，并采取一些安全措施，以确保其避免生成有害或有毒的响应。然而，这种方法仍有改进的空间。不过，微调解决了需要让模型适应特定需求的问题。

为什么要用 LLama-Factory？

LLama Factory，这个工具能够高效且低成本地支持对 100 多个模型进行微调。LLama Factory 简化了模型微调的过程，并且易于访问，使用体验友好。此外，它还提供了由 Hiyouga 提供的 Hugging Face 空间，可用于对模型进行微调。

图：LLama Board(Huggingface 空间)

这个空间还支持 Lora 和 GaLore 配置，以减少 GPU 的使用。用户可以通过简单的滑块轻松更改参数，如 dropout、epochs、批次大小等。同时，也有多个数据集选项可供选择以微调你的模型。正如本文所述，LLama Factory支持许多模型，包括不同版本的 LLama、mistral 和 Falcon。它还支持像 galore、badm 和 Lora 这样的高级算法，提供诸如flash attention、位置编码和缩放等各种功能。

此外，你还可以集成像 TensorBoard、VanDB 和 MLflow 这样的监控工具。为了更快地进行推理，你还可以使用Gradio 和 CLI。本质上，LLama Factory 提供了一系列多样化的选项，以增强模型性能并简化微调过程。