LLaMA-Factory从安装到微调再导出全流程

原创

已于 2025-04-20 15:42:15 修改 · 2.3k 阅读

16 ·

CC 4.0 BY-SA版权

文章标签：

#llama

于 2025-04-08 17:01:21 首次发布

LLaMA-Factory是一个微调框架。

1环境配置

1.1安装CUDA

这个就比较繁琐了，可以参考其他教程，验证是否安装成功可以用以下代码

import torch
torch.cuda.is_available()
torch.cuda.current_device()

出现以下输出就说明GPU环境准备好了。

有一个小坑，如果ubuntu执行nvcc -V时系统可能无法识别nvcc的命令。这时可以看一下 /usr/local/cuda/bin下面是否存在nvcc，如果存在就在.bashrc的最后加上

export PATH="/usr/local/cuda/bin:$PATH"

nano ~/.bashrc
source ~/.bashrc

再次执行就能正常运行了

1.2安装LLa

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

black^sugar

关注关注

10
点赞
踩
16

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

11、LLaMA-Factory自定义数据集微调

Andy_shenzl的博客

09-06

1万+

针对实际的微调需求，使用专门针对业务垂直领域的私有数据进行大模型微调才是我们需要做的。因此，我们需要探讨如何在LLaMA-Factory项目及上述创建的微调流程中引入自定义数据集进行微调。alpaca和sharegpt。

9、LLaMA-Factory项目微调介绍

Andy_shenzl的博客

08-28

3766

LLaMA Factory是一个在GitHub上开源的项目，该项目给自身的定位是：提供一个易于使用的大语言模型（LLM）微调框架，支持LLaMA、Baichuan、Qwen、ChatGLM等架构的大模型。更细致的看，该项目提供了从预训练、指令微调到RLHF阶段的开源微调解决方案。截止目前（2024年3月1日）支持约120+种不同的模型和内置了60+的数据集，同时封装出了非常高效和易用的开发者使用方法。

参与评论您还未登录，请先登录后发表或查看评论

LLaMA-Factory安装部署

关注于AI应用开发，探索将传统信息化软件用AI重做一遍

07-11

1400

本节介绍了如何安装llama-factory，机器llama-factory安装的一些高级选项

LLaMA-Factory web微调大模型并导出大模型

qq_35175478的博客

01-09

1141

①编辑/LLaMA-Factory/data/dataset_info.json文件。instruction 是给予模型的任务指令，明确告知模型需要完成的具体任务；我们的大模型经过训练数据集的数据后。以上就是我们训练大模型的小案例。同样在/LLaMA-Factory/data 目录下。在上方检查点选择我们的一个数据并点击chat进行测试。点击加载模型会出现一个对话窗口，现在我们进行一个测试。output 则是模型应产生的预期回答。也可以自己去魔塔社区下载已有的数据集。指定导出的大模型路径。

LLaMA Factory 安装与配置指南：在 Ubuntu 上快速搭建大模型微调平台

ssliq的博客

11-02

1005

LLaMA Factory

大模型开发和微调工具Llama-Factory--＞安装

weixin_46034279的博客

12-01

830

【代码】大模型开发和微调工具Llama-Factory--＞安装。

LLamaFactory安装(五步搞定)

Ven%的博客

12-04

2592

LLamaFactory安装(五步搞定)

LLaMa Factory 安装

weixin_63373973的博客

02-15

1229

【代码】LLaMa Factory 安装。

大模型微调指南之 LLaMA-Factory 篇：一键启动LLaMA系列模型高效微调

冷不丁

05-10

4777

LLaMA-Factory 是一个功能强大的工具，支持模型的训练、微调、评估、推理和导出。它提供了全参数微调、LoRA 微调、QLoRA 微调等多种微调方法，并支持通过可视化界面或命令行进行操作。安装过程包括创建虚拟环境、下载仓库和安装依赖。使用 WebUI 可以方便地进行模型训练、评估、对话和导出，而命令行则提供了更灵活的配置选项，支持模型微调、合并、推理和评估。LLaMA-Factory 还支持自定义数据集和断点重连功能，适用于多种模型训练和微调场景。

【Qwen2微调实战】LLaMA-Factory框架对Qwen2-7B模型的微调实践

寻道AI，探索AI无限可能！

07-29

2万+

在人工智能的浪潮中，大型语言模型（LLMs）正逐渐成为研究和应用的热点。它们在自然语言处理（NLP）的各个领域，如文本生成、翻译、问答等任务中展现出了卓越的能力。Qwen2-7B模型，作为该领域的佼佼者，不仅因其庞大的参数量和强大的表示能力受到关注，更因其在微调后能够更好地适应特定任务而备受关注。本文将详细介绍如何利用LLaMA-Factory这一高效的微调框架对Qwen2-7B进行微调，以期达到提升模型在特定任务上的表现。

LLaMA-Factory安装教程（详细版）

weixin_57293476的博客

05-08

6058

本机显卡双3090使用wsl中ubuntucuda==12.4python==3.12.4（python安装不做赘述，有需要我会另开一篇文章）

【07】LLaMA-Factory微调大模型——微调模型导出与微调参数分析

H66778899的博客

07-21

1万+

【07】LLaMA-Factory微调大模型——微调模型导出与微调参数分析

llama-factory+ollama【qwen2.5-7b模型使用甄嬛语录可视化微调案例】

daroubaozi123的博客

03-14

1058

准备好训练数据集，放入llama-factory根目录中的data文件夹中，并且修改其中的dataset_info.json文件。点击加载模型，等模型加载完成后进行对话即可验证训练效果，若训练效果不理想，可以尝试改变训练参数重新训练。下载模型文档，这里我使用的是python代码下载的qwen2.5-7b的，代码如下。测试模型训练结果，检查点路径中选择杠训练完成的模型，点击下方的chat标签。选中你的数据集，然后点击开始训练，等待训练完成即可。选择下载的模型名称及模型在本地的路径。

LLaMA-Factory安装部署-1

qq_15821487的博客

08-22

1303

对齐训练，大模型对齐训练ppo、dpo、kto，到底是什么意思，是什么的缩写，原理是怎么样的？大模型对齐训练中的PPO、DPO、KTO是几种不同的优化算法，它们各自有不同的缩写含义和原理。PPO：即Proximal Policy Optimization（近端策略优化），是一种强化学习算法。PPO通过结合有监督微调（Supervised Fine-Tuning，SFT）和强化学习策略训练阶段，使用显式的逐点奖励函数来训练模型。PPO有助于对齐大型语言模型（LLM）与人类偏好，但也可能导致模型在某些NLP基

LLama Factory 安装部署

qq_17204557的博客

03-29

530

【代码】LLama Factory 安装部署。

LLaMA Factory 安装指南

qq_41678239的博客

05-26

621

按照 GitHub 上介绍的过程安装即可，为了加快速度，增加了国内的 pip 源。

llama3 微调教程之 llama factory 的安装部署与模型微调过程，模型量化和gguf转换。