LLaMA Factory 安装与配置指南:在 Ubuntu 上快速搭建大模型微调平台

LLaMA Factory 是一个开源的大语言模型微调框架,它提供了一套高效、易用的工具集,支持多种主流大语言模型(如 LLaMA、ChatGLM、Qwen 等)的微调与部署。该框架具有以下突出特点:

·支持模型丰富:兼容 100+ 种大语言模型,涵盖 LLaMA、Baichuan、ChatGLM、Qwen 等主流架构

·训练效率高:集成多种高效微调技术(LoRA、QLoRA 等),大幅降低显存需求

·界面友好:提供直观的 Web UI,支持零代码操作的模型训练与推理

·功能完整:覆盖模型预训练、指令微调、奖励模型训练等全流程

无论您是研究者、开发者还是企业用户,LLaMA Factory 都能帮助您快速构建和定制专属的大语言模型应用。

环境配置与LLaMA Factory安装

一、 安装git

在终端中执行以下命令,安装 Git 版本工具:

sudo apt install git

二、下载LLama-factory

使用 Git 克隆 LLaMA Factory 项目仓库:

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

三、安装conda

1、安装Conda 所需依赖:

sudo apt install libgl1-mesa-glx libegl1-mesa libxrandr2 libxrandr2 libxss1 libxcursor1 libxcomposite1 libasound2 libxi6 libxtst6

2、下载conda 安装包

wget https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-x86_64.sh

3、安装conda

bash Anaconda3-2024.10-1-Linux-x86_64.sh

一路回车和yes,注意: 终端出现Anaconda3 will now be installed into this location:可输入自定义路径进而支持自定义conda安装路径(直接回车会默认安装到HOME目录)。

4、conda配置环境,默认没有配置环境(如下图)

查看conda安装位置

输入 nano ~/.bashrc

在bashrc文件的最后一行加入:export PATH=/home/ad/anaconda3/bin:$PATH (ad是自己的用户名)。按Ctrl+x 保存并退出编辑

配置生效

用conda -V查看版本正常了

四、创建环境

1、创建llama-factory微调环境

conda create -n llama-factory python=3.10

激活环境

conda activate llama-factory

我这里配置环境后直接进入激活环境报错(要先初始化)

解决:

source activate(重新进入虚拟环境)

conda deactivate (退出性能环境)

conda activate llama-factory(重新激活虚拟环境)

2、进入llama-factory环境后,进入到LLama-Factory文件下,安装相关依赖

pip install -e “.[torch,metrics]” --no-build-isolation -i https://mirrors.aliyun.com/pypi/simple

3、启动LLama-Factory

(这里我用的是虚拟机ubuntu20.4安装LLama-Factory,可以在win系统下通过虚拟机IP地址访问LLama-Factory界面)

ubuntu可视化系统也能访问LLama-Factory

五、gradio公开域名微调

如果ubuntu是服务器版本没有桌面的,你又想使用图形化微调,可以通过gradio创建公开域名链接进行微调

0表示第一张显卡:CUDA_VISIBLE_DEVICES=0

1表示创建1个域名链接:GRADIO_SHARE=1

查看有多少张卡:

nvidia-smi -L

1、启动命令行:

CUDA_VISIBLE_DEVICES=0 GRADIO_SHARE=1 llamafactory-cli

gradio报错:

解决:

创建目录:mkdir -p /home/ad/.cache/huggingface/gradio/frpc

进入目录:cd /home/ad/.cache/huggingface/gradio/frpc

这个下载方式可能有问题:

wget https://github.com/gradio-app/gradio/raw/main/gradio/frpc_linux_amd64-O frpc_linux_amd64_v0.3

我用win浏览器下载,然后手动上传到frpc文件下:

链接:https://cdn-media.huggingface.co/frpc-gradio-0.3/frpc_linux_amd64

上传进frpc文件里,然后重命名 mv frpc_linux_amd64 frpc_linux_amd64_v0.3

添加权限 chmod +x frpc_linux_amd64_v0.3

启动 CUDA_VISIBLE_DEVICES=0 GRADIO_SHARE=1 llamafactory-cli webui

这样就生成了一条公开域名,你也可以分享给其他人用:

https://265175b551a47a2dd5.gradio.live/

至此你已经部署好了LLaMA Factory

(如果你还不知道大模型数据集怎么制作、模型怎么下载,请在本公众号搜索相关文章学习。)

训练效果展示

想入门 AI 大模型却找不到清晰方向?备考大厂 AI 岗还在四处搜集零散资料?别再浪费时间啦!2025 年 AI 大模型全套学习资料已整理完毕,从学习路线到面试真题,从工具教程到行业报告,一站式覆盖你的所有需求,现在全部免费分享

👇👇扫码免费领取全部内容👇👇

一、学习必备:100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT,帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例?大模型电子书?这份资料帮你站在 “行业高度” 学 AI

1. 100+本大模型方向电子书

在这里插入图片描述

2. 26 份行业研究报告:覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容,涵盖:

  • 职业趋势:《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》;
  • 商业落地:《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》;
  • 领域细分:《AGI 在金融领域的应用报告》《AI GC 实践案例集》;
  • 行业监测:《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT:听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会,包含百度、腾讯、字节等企业的一线实践:

在这里插入图片描述

  • 安全方向:《端侧大模型的安全建设》《大模型驱动安全升级(腾讯代码安全实践)》;
  • 产品与创新:《大模型产品如何创新与创收》《AI 时代的新范式:构建 AI 产品》;
  • 多模态与 Agent:《Step-Video 开源模型(视频生成进展)》《Agentic RAG 的现在与未来》;
  • 工程落地:《从原型到生产:AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看:大厂 AI 岗面试 “弹药库”,300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗?这份面试资料帮你提前 “押题”,拒绝临场慌!

1. 107 道大厂面经:覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景,包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题,每道题都附带思路解析

2. 102 道 AI 大模型真题:直击大模型核心考点

针对大模型专属考题,从概念到实践全面覆盖,帮你理清底层逻辑:

3. 97 道 LLMs 真题:聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案,比如让很多人头疼的 “复读机问题”:


三、路线必明: AI 大模型学习路线图,1 张图理清核心内容

刚接触 AI 大模型,不知道该从哪学起?这份「AI大模型 学习路线图」直接帮你划重点,不用再盲目摸索!

在这里插入图片描述

路线图涵盖 5 大核心板块,从基础到进阶层层递进:一步步带你从入门到进阶,从理论到实战。

img

L1阶段:启航篇丨极速破界AI新时代

L1阶段:了解大模型的基础知识,以及大模型在各个行业的应用和分析,学习理解大模型的核心原理、关键技术以及大模型应用场景。

img

L2阶段:攻坚篇丨RAG开发实战工坊

L2阶段:AI大模型RAG应用开发工程,主要学习RAG检索增强生成:包括Naive RAG、Advanced-RAG以及RAG性能评估,还有GraphRAG在内的多个RAG热门项目的分析。

img

L3阶段:跃迁篇丨Agent智能体架构设计

L3阶段:大模型Agent应用架构进阶实现,主要学习LangChain、 LIamaIndex框架,也会学习到AutoGPT、 MetaGPT等多Agent系统,打造Agent智能体。

img

L4阶段:精进篇丨模型微调与私有化部署

L4阶段:大模型的微调和私有化部署,更加深入的探讨Transformer架构,学习大模型的微调技术,利用DeepSpeed、Lamam Factory等工具快速进行模型微调,并通过Ollama、vLLM等推理部署框架,实现模型的快速部署。

img

L5阶段:专题集丨特训篇 【录播课】

img
四、资料领取:全套内容免费抱走,学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型,还是有基础想冲刺大厂、了解行业趋势,这份资料都能满足你!
现在只需按照提示操作,就能免费领取:

👇👇扫码免费领取全部内容👇👇

2025 年想抓住 AI 大模型的风口?别犹豫,这份免费资料就是你的 “起跑线”!

<think>首先,用户的问题是基于之前的引用和系统指令。用户询问的是在Ubuntu系统中使用LLaMA Factory的方法。引用提供了关于LLaMA Factory的信息,包括它的功能、支持的模型、微调方法等。 系统指令要求: - 使用$...$格式表示行内数学表达式。 - 独立公式使用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 在回答中引用的段落末尾自然地添加引用标识(例如:[^1])。 用户的问题是:"我想查找在Ubuntu系统中使用一站式大模型高效微调平台LLaMA Factory的方法 请问Ubuntu系统下一站式大模型高效微调平台LLaMA Factory的使用方法"。这是一个关于如何在Ubuntu系统中使用LLaMA Factory的问题。 从引用中提取相关信息: - 引用[1]:介绍了LLaMA Factory支持多种模型,有用户友好的Web界面。 - 引用[2]:介绍了如何使用PAI和LLaMA Factory微调Llama-3模型,提到了LoRA方法。 - 引用[3]:详细描述了LLaMA-Factory的推理方式,包括使用命令行工具、Web界面、vllm引擎等。 - 引用[4]:提供了微调时的显存要求,基于模型大小和方法。 用户指定了Ubuntu系统,所以我需要关注在Ubuntu上的安装和使用步骤。 构建回答结构: 1. **介绍LLaMA Factory**:简要解释是什么及其优势。 2. **系统要求**:确保Ubuntu系统满足要求,如Python版本、GPU内存等(参考引用[4])。 3. **安装步骤**: - 依赖安装:如Python、PyTorch等。 - 安装LLaMA Factory。 4. **使用方法**: - 微调模型:使用LoRA等方法(参考引用[2])。 - 推理:使用命令行或Web界面(参考引用[3])。 5. **注意事项**:如显存要求。 6. **生成相关问题**:在最后添加相关问题。 参考用户之前的请求:系统级指令提到要引用段落末尾添加标识,所以我需要在回答中自然地引用相关引用。 回答必须使用中文。 可能的安装和使用步骤: - 安装步骤可能包括:克隆仓库、安装依赖。 - 使用方法:配置微调参数、运行命令。 从引用[3]: - 推理命令:`llamafactory-cli chat inference_config.yaml` 或 `llamafactory-cli webchat inference_config.yaml` - 微调:引用[2]提到使用PAI和LLaMA Factory,但用户需要Ubuntu-specific方法。假设LLaMA Factory有通用安装。 通用步骤: 1. 确保系统有Python、CUDA等。 2. 安装LLaMA Factory: `pip install llama-factory` 或从GitHub克隆。 3. 配置模型路径等。 4. 运行微调或推理命令。 生成相关问题: - 基于主题,如:如何使用LoRA微调?如何优化推理速度? 最终回答结构: - 开头介绍。 - 分步骤说明安装和使用。 - 结束时添加相关问题列表。 </think>### 在Ubuntu系统中使用LLaMA Factory的一站式高效微调方法 LLaMA Factory 是一个开源的大模型高效微调框架,支持多种流行模型(如 LLaMA、Mistral、Llama-3 等),提供零代码或低代码操作界面,适用于学术研究和企业应用。在 Ubuntu 系统上,您可以轻松安装和使用它进行模型微调、推理和部署。以下步骤基于引用资料,结合 Ubuntu 环境(推荐 Ubuntu 20.04 LTS 或更高版本),确保您能快速上手。关键依赖包括:Python 3.8+、NVIDIA GPU(支持 CUDA 11.8+)、以及足够的显存(参考引用[4]的显存要求表)。 #### 1. **系统环境准备** 在 Ubuntu 上启动前,确保系统满足以下要求: - **硬件要求**:至少配备 NVIDIA GPU,显存根据模型大小和微调方法不同而变化(如微调 7B 模型时,QLoRA 方法需 4~8GB 显存)。详细显存需求可参考引用[4]的表格: | 方法 | 7B 模型显存 | 14B 模型显存 | |------|-------------|--------------| | Full (bf16/fp16) | 32GB | 60GB | | QLoRA | 4~10GB | 8~20GB | - **软件依赖**:安装必备工具: ```bash # 更新系统并安装 Python 和 pip sudo apt update && sudo apt upgrade -y sudo apt install python3-pip git -y # 安装 CUDA Toolkit(以 CUDA 11.8 为例) wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin sudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600 sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/3bf863cc.pub sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/ /" sudo apt install cuda-11-8 -y # 设置环境变量(添加到 ~/.bashrc) echo 'export PATH=/usr/local/cuda-11.8/bin:$PATH' >> ~/.bashrc echo 'export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc source ~/.bashrc ``` 验证安装:`nvidia-smi` 应显示 GPU 状态,`nvcc --version` 确认 CUDA 版本[^4]。 #### 2. **安装 LLaMA Factory** 通过 pip 或 GitHub 克隆安装 LLaMA Factory,以下步骤在 Ubuntu 终端执行: ```bash # 创建虚拟环境(推荐) python3 -m venv llama-env source llama-env/bin/activate # 安装 PyTorch 和 LLaMA Factory pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install llama-factory # 或从 GitHub 克隆最新版本(可选,用于获取完整功能) git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -r requirements.txt ``` 安装完成后,检查版本:`llamafactory-cli --version`。LLaMA Factory 支持多种模型和微调方法(如 LoRA、QLoRA),覆盖从基础模型到企业级应用[^1]。 #### 3. **使用方法:微调推理** LLaMA Factory 提供命令行工具和 Web 界面两种方式。以下以微调 Llama-3 模型为例(基于引用[2]的 LoRA 方法),并支持中文任务如问答或角色扮演。 - **微调模型(Fine-tuning)**: 1. 准备数据集:将中文数据集(如 JSON 格式)放在 `data/` 目录下。 2. 创建配置文件(例如 `finetune_config.yaml`),指定模型、方法和数据集: ```yaml model_name_or_path: meta-llama/Llama-3-8B # 原始模型路径 dataset_dir: data/ # 数据集目录 finetuning_type: lora # 使用轻量化LoRA方法 output_dir: outputs/ # 输出目录 ``` 3. 运行微调命令: ```bash llamafactory-cli finetune finetune_config.yaml ``` 微调过程中,LLaMA Factory 会自动优化训练效率,并生成日志文件。完成后,模型权重保存在 `outputs/` 目录。验证效果可通过 ROUGE 分数或人工测试(引用[2])。 - **推理对话(Inference)**: - **命令行推理**:使用简单 chat 模式: ```bash llamafactory-cli chat inference_config.yaml # 配置文件需指定模型和模板 ``` 在配置文件中添加 `adapter_name_or_path: outputs/` 以加载微调后的模型。 - **Web 界面推理**:启动可视化界面,适合交互式测试: ```bash llamafactory-cli webchat inference_config.yaml ``` 访问 `http://localhost:7860` 在浏览器中使用。 - **批量推理**:对于大规模数据集,启用 vllm 引擎加速(引用[3]): ```bash llamafactory-cli vllm --config inference_config.yaml --input data/test.json --output results.json ``` 或在配置中设置 `infer_backend: vllm` 以提升速度[^3]。 #### 4. **注意事项** - **显存管理**:Ubuntu 下可使用 `nvidia-smi` 监控 GPU 使用。如果显存不足,优先选用 QLoRA 方法(占用更低,见引用[4])。 - **常见问题**:安装失败时,检查 CUDA 版本兼容性;微调超时通常因数据集过大,可缩减批次大小。 - **安全提示**:操作涉及高资源消耗,建议在专业服务器或云平台(如 PAI)运行(引用[2])。 通过以上步骤,您可以在 Ubuntu 上高效完成模型微调和推理。LLaMA Factory 的用户友好设计(如 LlamaBoard Web 界面)显著降低了入门门槛,即使是零基础用户也能快速上手[^1]。后续可结合实际业务数据集进行优化,解决特定场景问题。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值