LLaMA Factory 安装与配置指南:在 Ubuntu 上快速搭建大模型微调平台

12 大模型学习——LLaMA-Factory微调 Alpaca 格式由斯坦福大学的研究人员提出,主要用于单轮指令微调任务。针对不同任务,数据集的格式要求不同。应用场景:- 适用于单轮任务,如问答、文本生成、摘要、翻译等。- 结构简洁,任务导向清晰,适合低成本的指令微调。 阅读详情

什么是 LLaMA Factory**?**

LLaMA Factory 是一个开源的大语言模型微调框架,它提供了一套高效、易用的工具集,支持多种主流大语言模型(如 LLaMA、ChatGLM、Qwen 等)的微调与部署。该框架具有以下突出特点:

·支持模型丰富:兼容 100+ 种大语言模型,涵盖 LLaMA、Baichuan、ChatGLM、Qwen 等主流架构

·训练效率高:集成多种高效微调技术(LoRA、QLoRA 等),大幅降低显存需求

·界面友好:提供直观的 Web UI,支持零代码操作的模型训练与推理

·功能完整:覆盖模型预训练、指令微调、奖励模型训练等全流程

无论您是研究者、开发者还是企业用户,LLaMA Factory 都能帮助您快速构建和定制专属的大语言模型应用。

环境配置与LLaMA Factory安装

一、 安装git

在终端中执行以下命令,安装 Git 版本工具:

sudo apt install git

下载LLama-factory

使用 Git 克隆 LLaMA Factory 项目仓库:

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

三、安装conda

1、安装Conda 所需依赖:

sudo apt install libgl1-mesa-glx libegl1-mesa libxrandr2 libxrandr2 libxss1 libxcursor1 libxcomposite1 libasound2 libxi6 libxtst6

2、下载conda 安装包

wget https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-x86_64.sh

3、安装conda

bash Anaconda3-2024.10-1-Linux-x86_64.sh

一路回车和yes,注意: 终端出现Anaconda3 will now be installed into this location:可输入自定义路径进而支持自定义conda安装路径(直接回车会默认安装到HOME目录)。

4、conda配置环境,默认没有配置环境(如下图)

查看conda安装位置

输入 nano ~/.bashrc

在bashrc文件的最后一行加入:export PATH=/home/ad/anaconda3/bin:$PATH (ad是自己的用户名)。按Ctrl+x 保存并退出编辑

配置生效

用conda -V查看版本正常了

四、创建环境

1、创建llama-factory微调环境

conda create -n llama-factory python=3.10

激活环境

conda activate llama-factory

我这里配置环境后直接进入激活环境报错(要先初始化)

解决:

source activate(重新进入虚拟环境)

conda deactivate (退出性能环境)

conda activate llama-factory(重新激活虚拟环境)

2、进入llama-factory环境后,进入到LLama-Factory文件下,安装相关依赖

pip install -e “.[torch,metrics]” --no-build-isolation -i https://mirrors.aliyun.com/pypi/simple

3、启动LLama-Factory

(这里我用的是虚拟机ubuntu20.4安装LLama-Factory,可以在win系统下通过虚拟机IP地址访问LLama-Factory界面)

ubuntu可视化系统也能访问LLama-Factory

五、gradio公开域名微调

如果ubuntu是服务器版本没有桌面的,你又想使用图形化微调,可以通过gradio创建公开域名链接进行微调

0表示第一张显卡:CUDA_VISIBLE_DEVICES=0

1表示创建1个域名链接:GRADIO_SHARE=1

查看有多少张卡:

nvidia-smi -L

1、启动命令行:

CUDA_VISIBLE_DEVICES=0 GRADIO_SHARE=1 llamafactory-cli

gradio报错:

解决:

创建目录:mkdir -p /home/ad/.cache/huggingface/gradio/frpc

进入目录:cd /home/ad/.cache/huggingface/gradio/frpc

这个下载方式可能有问题:

wget https://github.com/gradio-app/gradio/raw/main/gradio/frpc_linux_amd64-O frpc_linux_amd64_v0.3

我用win浏览器下载,然后手动上传到frpc文件下:

链接:https://cdn-media.huggingface.co/frpc-gradio-0.3/frpc_linux_amd64

上传进frpc文件里,然后重命名 mv frpc_linux_amd64 frpc_linux_amd64_v0.3

添加权限 chmod +x frpc_linux_amd64_v0.3

启动 CUDA_VISIBLE_DEVICES=0 GRADIO_SHARE=1 llamafactory-cli webui

这样就生成了一条公开域名,你也可以分享给其他人用:

https://265175b551a47a2dd5.gradio.live/

至此你已经部署好了LLaMA Factory

(如果你还不知道大模型数据集怎么制作、模型怎么下载,请在本公众号搜索相关文章学习。)

训练效果展示

想入门 AI 大模型却找不到清晰方向?备考大厂 AI 岗还在四处搜集零散资料?别再浪费时间啦!2025 年 AI 大模型全套学习资料已整理完毕,从学习路线到面试真题,从工具教程到行业报告,一站式覆盖你的所有需求,现在全部免费分享!

👇👇扫码免费领取全部内容👇👇

​

一、学习必备:100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT,帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例?大模型电子书?这份资料帮你站在 “行业高度” 学 AI:

1. 100+本大模型方向电子书

在这里插入图片描述

2. 26 份行业研究报告:覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容,涵盖:

  • 职业趋势:《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》;
  • 商业落地:《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》;
  • 领域细分:《AGI 在金融领域的应用报告》《AI GC 实践案例集》;
  • 行业监测:《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT:听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会,包含百度、腾讯、字节等企业的一线实践:

在这里插入图片描述

  • 安全方向:《端侧大模型的安全建设》《大模型驱动安全升级(腾讯代码安全实践)》;
  • 产品与创新:《大模型产品如何创新与创收》《AI 时代的新范式:构建 AI 产品》;
  • 多模态与 Agent:《Step-Video 开源模型(视频生成进展)》《Agentic RAG 的现在与未来》;
  • 工程落地:《从原型到生产:AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看:大厂 AI 岗面试 “弹药库”,300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗?这份面试资料帮你提前 “押题”,拒绝临场慌!

1. 107 道大厂面经:覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景,包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题,每道题都附带思路解析:

2. 102 道 AI 大模型真题:直击大模型核心考点

针对大模型专属考题,从概念到实践全面覆盖,帮你理清底层逻辑:

3. 97 道 LLMs 真题:聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案,比如让很多人头疼的 “复读机问题”:


三、路线必明: AI 大模型学习路线图,1 张图理清核心内容

刚接触 AI 大模型,不知道该从哪学起?这份「AI大模型 学习路线图」直接帮你划重点,不用再盲目摸索!

在这里插入图片描述

路线图涵盖 5 大核心板块,从基础到进阶层层递进:一步步带你从入门到进阶,从理论到实战。

img

L1阶段:启航篇丨极速破界AI新时代

L1阶段:了解大模型的基础知识,以及大模型在各个行业的应用和分析,学习理解大模型的核心原理、关键技术以及大模型应用场景。

img

L2阶段:攻坚篇丨RAG开发实战工坊

L2阶段:AI大模型RAG应用开发工程,主要学习RAG检索增强生成:包括Naive RAG、Advanced-RAG以及RAG性能评估,还有GraphRAG在内的多个RAG热门项目的分析。

img

L3阶段:跃迁篇丨Agent智能体架构设计

L3阶段:大模型Agent应用架构进阶实现,主要学习LangChain、 LIamaIndex框架,也会学习到AutoGPT、 MetaGPT等多Agent系统,打造Agent智能体。

img

L4阶段:精进篇丨模型微调与私有化部署

L4阶段:大模型的微调和私有化部署,更加深入的探讨Transformer架构,学习大模型的微调技术,利用DeepSpeed、Lamam Factory等工具快速进行模型微调,并通过Ollama、vLLM等推理部署框架,实现模型的快速部署。

img

L5阶段:专题集丨特训篇 【录播课】

img
四、资料领取:全套内容免费抱走,学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型,还是有基础想冲刺大厂、了解行业趋势,这份资料都能满足你!
现在只需按照提示操作,就能免费领取:

👇👇扫码免费领取全部内容👇👇

​

2025 年想抓住 AI 大模型的风口?别犹豫,这份免费资料就是你的 “起跑线”!

Llama-factory详细基础使用说明 对于初入算法的童鞋来说,有的可能还不知道llama-factory是什么,只知道大模型用到了这个框架,这是不行的。LLaMA-Factory 是一个低代码的大规模语言模型(LLM)训练框架,它主要面向研究人员和开发者,旨在简化大型语言模型的微调、评估和部署过程。白话说就是集合了当下LLM领域各种好用的开源或者自研的框架以及工具,进行封装以及优化,简化使用方法,方便大家对大模型进行微调和评估部署等工作,降低了使用难度。包括推理框架vllm等(具体可以看官网哈,下面有地址)易用性 vs. 性能。 阅读详情

相关推荐

Llama3本地部署与高效微调入门

为了保持公司在AI(人工智能)开源大模型领域的地位,社交巨头Meta推出了旗下最新开源模型。当地时间4月18日,Meta在官网上宣布公布了旗下最新大模型Llama 3。目前,Llama 3已经开放了80亿(8B)和700亿(70B)两个小参数版本,上下文窗口为8k。Meta表示,通过使用更高质量的训练数据和指令微调,Llama 3比前代Llama 2有了“显著提升”。未来,Meta将推出Llama 3的更大参数版本,其将拥有超过4000亿参数。

水工鸟的专栏 6171

一文彻底搞懂大模型 - LLaMA-Factory

提供了一套完整的工具和接口,使得用户能够轻松地对。

Python_cocola的博客 4442

LLaMa Factory大模型微调

如果有all_proxy的设置,使用下面命令设置为空就行。以Qwen/Qwen2.5-7B-Instruct为例。比如我的数据集没有history,我就把。看看有没有出现下面的all_proxy的设置。,搜相应的模型名字,比如我这里直接搜。微调自我认知+微调特定领域数据集。,使用下面命令查看系统的代理设置。如果数据集没有相应的键,就先去掉。不确定模型的名字的话,打开链接。按Alpaca格式准备好数据集。关于history的部分去掉。,然后得知模型全称是。

laonafahaodange的博客 1480

Llama-Factory的baichuan2微调

现有的获得这种可控性的方法是收集人工对模型生成相对质量的标签,并且通过人类反馈强化学习(RLHF)对无监督的 LM 进行微调,以使其与人类偏好相一致。然而,RLHF 是一个复杂且经常不太稳定的过程,它首先拟合一个反应人类偏好的奖励模型,然后通过强化学习对大型无监督 LM 进行微调以最大化评估奖励,并避免与原始模型相差太远。值得注意的是,用 DPO 进行微调在控制生成结果的情感以及改善摘要和单轮对话的响应质量方面表现出更好的能力,同时在实现和训练时的难度大大降低。,从本质上解决了人类偏好数据上的分类问题。

man_Xue_hao的博客 9414

Llama-Factory微调:编码实现与实战

以上是可以通过技术验证,验证llama-factory模型微调训练的可行性,接下来才是干货中的干货,如果在实际应用中通过自己开发的界面,将参数传递给后台服务,然后进行微调,如果用官网提供的界面,参数实在太多,相关参数可以直接预制好,只要部分关键参数就可以了。stage 当前训练的阶段,枚举值,有“sft”,"pt","rm","ppo"等,代表了训练的不同阶段,这里我们是有监督指令微调,所以是sft。无非就是四个步骤,1、数据集准备,2、参数设置,3、模型训练,4、合并导出模型。

m0_57796508的博客 1181

LLaMA-Factory可视化界面微调chatglm2;LoRA训练微调模型 简单案例

lore模型训练 参考:https://github.com/huggingface/peft。

weixin_42357472的博客 7798

【01】LLaMA-Factory微调大模型——基础环境配置

【01】LLaMA-Factory微调大模型——基础环境配置

H66778899的博客 3301

Microsoft Visual C++ 14.0 is required 的亲测最全解决方案(包括安装包丢失或损坏解决方法)

在用python调用别的语言(我用的是cache数据库)的方法时,在执行"python setup3.py install"方法时出现“error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”错误,以下是网上能找到的安装过程中“所有”解决方案: 1、首先需要下载Micr...

CDL2017CDL的博客 2万+

Ubuntu 服务器Llama Factory 搭建DeepSeek-R1微调训练环境

LLaMA-Factory 是一个强大的大型语言模型微调框架:支持多种模型:涵盖 LLaMA、LLaVA、Mistral、Mixtral-MOE、Qwen、Qwen2-VL、Yi、Gemma、Baichuan、ChatGLM、Phi 等 100 多种模型。集成多种方法:包括(增量)预训练、(多模态)监督微调、奖励建模、PPO、DPO、KTO、ORPO 等方法,满足不同任务和场景的需求。

谁念西风独自凉 2639

NGSIM数据集字段解析:从车辆轨迹到交通行为分析

本文深度解析NGSIM数据集的核心字段及其在交通行为分析中的应用。详细解读了车辆时空定位、状态属性及交互关系等关键字段,并通过高速路“幽灵堵车”和城市路口左转行为两个实战案例,展示了如何利用该数据集进行微观交通行为建模与驾驶特征提取,为交通流研究和自动驾驶算法测试提供数据基础。

weixin_29172963的博客 149

Keil MDK安装NRF52832开发环境全攻略(附系统时间错误解决方案)

本文详细介绍了如何使用Keil MDK搭建NRF52832开发环境,包括基础软件安装、项目配置关键步骤以及常见问题解决方案。特别针对系统时间错误导致的编译失败问题提供了实用解决方法,帮助开发者快速上手NRF52832开发。

weixin_29168153的博客 506

LLaMA-Factory 终极安装指南:5分钟搞定大语言模型微调

LLaMA-Factory 是一个强大的大语言模型(LLM)微调平台,让普通用户也能轻松驾驭AI模型训练。无论你是AI初学者还是资深开发者,这个工具都能帮你快速上手大语言模型微调。通过简单的Web界面,你可以在本地微调上百种预训练模型,无需编写复杂代码。 ## 🛠️ 安装前的准备工作 在开始安装前,请确保你的系统满足以下要求: - **操作系统**:推荐使用 Ubuntu 20.04 或更

gitblog_01186的博客 1034

RK3588上跑通Zipformer语音识别的3个坑与填坑实录(附完整编译命令)

本文详细记录了在RK3588开发板上部署Zipformer语音识别模型时遇到的三个典型问题及其解决方案,包括静态库版本冲突、编译脚本配置错误以及模型转换精度调优。文章提供了完整的编译命令和实战步骤,帮助开发者快速在边缘设备上实现高效的语音识别应用。

l6m7n8的博客 716

007-Wsl-Ubuntu上LLaMA-Factory如何下载、部署、运行【AI超车B计划】

LLaMA-Factory是github上的一个开源项目,可以通过web界面,可视化地轻松微调大模型。支持微调上几百大模型:LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。支持多种大模型训练方法:(增量)预训练、(多模态)指令监督微调、奖励模型训练、PPO 训练、DPO 训练和 ORPO 训练。多精度支持。

weixin_37897145的博客 5329

FDTD脚本教程——结构的创建

文章目录结构的搭建创建长方体创建柱体多边形柱体(椭)圆柱体圆环柱自定义形状创建surface波导球棱锥 在lumerical中,可以使用脚本进行操作,可在右侧脚本编辑器运行,或者直接在下方shell输入。 结构的搭建 创建长方体 um = 1e-6; nm = 1e-7; addrect; set("name","myRect"); set("material","SiO2 (Glass) - Palik"); set("render type","wireframe"); # 默认是细节渲染,也就是det

战斗果冻的训练中心 2万+

道通无人机信号分析

本文分析了道通无人机及其遥控器的EIRP参数(表1-2),发现不同地区的功率标准存在差异。针对5230MHz图传信号,观测到四帧连续信号结构类似LORA分包传输。脉冲分析(表3)显示固定3.9ms脉宽和1.1ms间隔。频谱异常表现为非矩形窗特征,经分析系多径效应引起的频率选择性衰落所致——不同路径传播导致特定频率出现相长/相消干涉,形成波峰波谷的起伏频谱特征。这种现象与无线信道的多径时延、衰减差异直接相关。

jiaotinglang2580的博客 490

LLaMA Factory框架微调GLM-4大模型

最后通过加载微调后的模型进行提问测试,结果表明模型已成功被微调并在回答中体现出对训练数据的学习与应用,本研究为大模型的个性化定制与优化提供了具有参考价值的实践范例与技术思路,有助于推动大模型在特定领域或任务中的应用拓展与性能提升。这一实践过程为大模型在特定领域或任务中的个性化定制提供了详细的技术参考与实践经验,有助于进一步推动大模型在实际应用中的深入发展与广泛应用,未来可进一步探索不同参数设置、数据集规模与质量等因素对模型微调效果的影响,以实现更高效、精准的大模型优化目标。

vh62505的博客 1580

机器人控制基础:伺服驱动电机 PID 参数自适应控制的实现方法及研究

伺服电机PID参数自适应控制技术研究 摘要:针对伺服驱动电机在动态负载工况下传统PID控制性能下降的问题,本文研究了多种自适应控制方法。通过分析6种主流技术(包括模型参考自适应、模糊逻辑、神经网络等)的原理、实现步骤及适用场景,揭示了负载感知精度、参数调节实时性和系统稳定性三大技术难点,并提出了相应解决方案。以模糊自适应PID为例的实验验证表明,该技术能有效提升伺服系统在变负载条件下的控制性能。研究为工业应用中伺服电机的精确控制提供了重要参考。

start_up_go的博客 829

5步完成LLaMA-Factory安装:新手AI模型微调终极指南

想要快速上手AI模型微调?LLaMA-Factory让这一切变得简单!这个开源框架让新手也能轻松微调上百种大语言模型,无需编写代码,通过直观的Web界面即可完成所有操作。 ## 为什么选择LLaMA-Factory? | 优势特性 | 传统方法 | LLaMA-Factory | |---------|---------|---------------| | 学习门槛 | 需要编程基础 | 零

gitblog_00557的博客 1098

【蓝牙协议栈】【BLE】详解蓝牙BLE连接建立过程

advertiser。发出广播的设备observer或者scanner。可以扫描广播的设备initiator。能发起连接的设备master或者central。连接成功后的主设备,即主动发起packet的设备slave或者peripheral。连接成功后的从设备,即被动回传packet的设备图11通过时间把observer,initiator和central串起来了,其实这三个角色是相互独立的,也就是说一个设备可以只支持observer角色,而不支持initiator和central角色。

风云说通信 2524

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

LLama-Factory保姆级安装指南:从零搭建AIGC大模型训练环境(Ubuntu+GPU)

本文提供了一份详尽的LLama-Factory安装与配置指南,帮助用户在Ubuntu系统和GPU环境下从零搭建AIGC大模型训练环境。内容涵盖环境准备、虚拟环境创建、核心库安装、模型权重下载以及Web UI启动与微调实战,旨在降低大模型微调门槛,助力开发者快速构建专属模型实验平台。

kkk56的博客 580

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

LLaMA-Factory完整安装指南:零代码微调100+大模型的终极方案

想要轻松微调大语言模型却苦于复杂的代码配置?LLaMA-Factory为您提供了一套简单高效的解决方案。这个强大的开源框架让您无需编写任何代码,就能在本地环境中微调上百种预训练模型,从LLaMA、Qwen到DeepSeek等热门模型应有尽有。 ## 🚀 项目核心优势 LLaMA-Factory最大的亮点在于它的**零代码操作**和**全功能覆盖**。无论您是AI初学者还是资深开发者,都能快速

gitblog_00933的博客 1045

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

LLaMA-Factory教程:使用Docker快速部署微调环境

在AI大模型应用开发中,环境配置往往是开发者面临的第一道障碍。不同操作系统、依赖版本冲突、硬件加速配置等问题常常耗费大量时间。LLaMA-Factory提供了完善的Docker部署方案,让你无需复杂配置即可快速搭建专业的大模型微调环境。本文将以NVIDIA GPU环境为例,带你一步到位完成Docker化部署,轻松开启大模型微调之旅。 ## 环境准备 ### 系统要求 LLaMA-Factor

gitblog_00879的博客 992
上一篇: 大模型微调微调神器——LLaMA-Factory
下一篇: 一篇文章带你搞懂 AI 的完整技术路线
AI_小站
博客等级 码龄3年 6255粉丝 1154原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值