大模型微调微调神器——LLaMA-Factory

快速上手!LLaMa-Factory最新微调实践,轻松实现专属大模型 近日,源2.0开源大模型与LLaMA-Factory框架完成全面适配,用户通过LLaMA-Factory,即可快捷、高效地对不同参数规模的源2.0基础模型进行全量微调及高效微调,轻松实现专属大模型。 阅读详情

1. LLaMA-Factory 介绍

LLaMA-Factory 是一个开源的大语言模型微调框架,专门为LLaMA系列模型及其他开源大模型提供高效、便捷的微调解决方案。

核心特点:

  • 高效训练:支持QLoRA、LoRA、全参数微调等多种高效微调方法
  • 易于使用:提供Web UI和命令行两种交互方式
  • 多模型支持:支持LLaMA、BLOOM、ChatGLM、Qwen、Baichuan等主流开源模型
  • 功能全面:支持SFT、DPO、ORPO、KTO、预训练、继续训练等多种任务
  • 性能优化:集成Flash Attention 2、Unsloth等优化技术

支出微调方式

GitHub地址: https://github.com/hiyouga/LLaMA-Factory

2. 如何使用LLaMA-Factory

2.1 环境安装

# 克隆仓库
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
# 创建conda环境(可选)
conda create -n llama_factory python=3.10
conda activate llama_factory
# 安装依赖
pip install -e .[torch,metrics]
# 或安装精简版
pip install -e .

2.2 快速开始(Web UI方式)

# 启动Web界面
CUDA_VISIBLE_DEVICES=0 llamafactory-cli webui
# 或在代码中启动
python src/train_web.py

Web UI主要界面:

  • 模型选择:选择基础模型和适配器
  • 训练配置:设置训练参数、数据集、微调方法
  • 数据集管理:上传和配置训练数据
  • 训练监控:实时查看训练损失和指标
  • 模型导出:导出训练好的模型

2.3 命令行方式微调

基本微调命令:

# 使用QLoRA微调(推荐)
CUDA_VISIBLE_DEVICES=0 llamafactory-cli train \
--stage sft \
--do_train \
--model_name_or_path meta-llama/Llama-2-7b-hf \
--dataset alpaca_en \
--template default \
--finetuning_type lora \
--lora_target q_proj,v_proj \
--output_dir saves/llama2-7b-lora \
--overwrite_cache \
--per_device_train_batch_size 4 \
--gradient_accumulation_steps 4 \
--lr_scheduler_type cosine \
--logging_steps 10 \
--save_steps 1000 \
--learning_rate 5e-5 \
--num_train_epochs 3.0 \
--plot_loss \
--fp16

2.4 数据准备

支持多种数据格式,推荐使用JSON格式:

数据集格式示例(alpaca格式):

json
[
{
"instruction": "解释什么是人工智能",
"input": "",
"output": "人工智能是..."
},
{
"instruction": "将以下句子翻译成英文",
"input": "今天天气很好",
"output": "The weather is nice today."
}
]

3. 案例实践

案例1:医疗问答模型微调

目标:将通用LLaMA模型微调为医疗问答专家

步骤:

  1. 准备医疗数据集
# 数据集示例
medical_data = [
{
"instruction": "什么是糖尿病?",
"input": "",
"output": "糖尿病是一种慢性疾病..."
},
{
"instruction": "高血压的治疗方法有哪些?",
"input": "患者65岁,血压150/95",
"output": "高血压的治疗包括..."
}
]
  1. 配置训练参数
# 医疗领域微调脚本
CUDA_VISIBLE_DEVICES=0 llamafactory-cli train \
--stage sft \
--model_name_or_path meta-llama/Llama-2-7b-hf \
--dataset ./data/medical_qa.json \
--template default \
--finetuning_type lora \
--lora_target all \
--output_dir saves/medical-llama \
--per_device_train_batch_size 2 \
--gradient_accumulation_steps 8 \
--lr_scheduler_type cosine \
--learning_rate 2e-4 \
--num_train_epochs 5 \
--val_size 0.1 \
--evaluation_strategy steps \
--eval_steps 100 \
--save_steps 500
  1. 模型推理
from transformers import pipeline
from llamafactory.model import load_model, load_tokenizer
# 加载微调后的模型
model, tokenizer = load_model("saves/medical-llama")
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
# 医疗问答
question = "糖尿病的症状有哪些?"
response = pipe(f"问题:{question}\n回答:", max_length=200)
print(response[0]['generated_text'])

案例2:代码生成模型微调

目标:微调模型使其擅长生成Python代码

数据集示例:

json
[
{
"instruction": "写一个Python函数计算斐波那契数列",
"input": "",
"output": "def fibonacci(n):\n    if n <= 1:\n        return n\n    a, b = 0, 1\n    for _ in range(n-1):\n        a, b = b, a+b\n    return b"
}
]

训练配置:

# config.yaml
model_name_or_path: codellama/CodeLlama-7b-hf
dataset: ./data/code_dataset.json
template: codellama
finetuning_type: qlora
quantization_bit: 4
lora_target: all
per_device_train_batch_size: 2
gradient_accumulation_steps: 8
learning_rate: 1e-4
num_train_epochs: 3

案例3:多轮对话微调

目标:微调模型进行多轮对话

数据格式:

[
{
"conversations": [
{"role": "user", "content": "你好"},
{"role": "assistant", "content": "你好!有什么可以帮助你的吗?"},
{"role": "user", "content": "推荐一本好书"},
{"role": "assistant", "content": "我推荐《活着》,这是一本..."}
]
}
]

训练命令:

CUDA_VISIBLE_DEVICES=0,1 llamafactory-cli train \
--stage sft \
--model_name_or_path Qwen/Qwen-7B-Chat \
--dataset ./data/conversation.json \
--template qwen \
--finetuning_type lora \
--output_dir saves/chat-model \
--per_device_train_batch_size 4 \
--gradient_accumulation_steps 2 \
--learning_rate 5e-5 \
--num_train_epochs 2 \
--logging_steps 10

案例4:DPO对齐训练

目标:使用偏好数据对齐模型

# DPO训练
CUDA_VISIBLE_DEVICES=0 llamafactory-cli train \
--stage dpo \
--model_name_or_path saves/sft-model \
--dataset ./data/preference_data.json \
--template default \
--finetuning_type lora \
--output_dir saves/dpo-model \
--per_device_train_batch_size 2 \
--learning_rate 1e-5 \
--num_train_epochs 1 \
--logging_steps 10

5. 进阶功能

模型合并

# 将LoRA权重合并到基础模型
llamafactory-cli export \
--model_name_or_path meta-llama/Llama-2-7b-hf \
--adapter_name_or_path saves/llama2-7b-lora \
--template default \
--export_dir merged_model \
--export_size 2 \
--export_legacy_format false

模型评估

# 评估模型
CUDA_VISIBLE_DEVICES=0 llamafactory-cli evaluate \
--model_name_or_path saves/finetuned-model \
--template default \
--task mmlu \
--split test \
--lang en \
--n_shot 5 \
--batch_size 4

想入门 AI 大模型却找不到清晰方向?备考大厂 AI 岗还在四处搜集零散资料?别再浪费时间啦!2025 年 AI 大模型全套学习资料已整理完毕,从学习路线到面试真题,从工具教程到行业报告,一站式覆盖你的所有需求,现在全部免费分享!

👇👇扫码免费领取全部内容👇👇

​

一、学习必备:100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT,帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例?大模型电子书?这份资料帮你站在 “行业高度” 学 AI:

1. 100+本大模型方向电子书

在这里插入图片描述

2. 26 份行业研究报告:覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容,涵盖:

  • 职业趋势:《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》;
  • 商业落地:《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》;
  • 领域细分:《AGI 在金融领域的应用报告》《AI GC 实践案例集》;
  • 行业监测:《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT:听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会,包含百度、腾讯、字节等企业的一线实践:

在这里插入图片描述

  • 安全方向:《端侧大模型的安全建设》《大模型驱动安全升级(腾讯代码安全实践)》;
  • 产品与创新:《大模型产品如何创新与创收》《AI 时代的新范式:构建 AI 产品》;
  • 多模态与 Agent:《Step-Video 开源模型(视频生成进展)》《Agentic RAG 的现在与未来》;
  • 工程落地:《从原型到生产:AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看:大厂 AI 岗面试 “弹药库”,300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗?这份面试资料帮你提前 “押题”,拒绝临场慌!

1. 107 道大厂面经:覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景,包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题,每道题都附带思路解析:

2. 102 道 AI 大模型真题:直击大模型核心考点

针对大模型专属考题,从概念到实践全面覆盖,帮你理清底层逻辑:

3. 97 道 LLMs 真题:聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案,比如让很多人头疼的 “复读机问题”:


三、路线必明: AI 大模型学习路线图,1 张图理清核心内容

刚接触 AI 大模型,不知道该从哪学起?这份「AI大模型 学习路线图」直接帮你划重点,不用再盲目摸索!

在这里插入图片描述

路线图涵盖 5 大核心板块,从基础到进阶层层递进:一步步带你从入门到进阶,从理论到实战。

img

L1阶段:启航篇丨极速破界AI新时代

L1阶段:了解大模型的基础知识,以及大模型在各个行业的应用和分析,学习理解大模型的核心原理、关键技术以及大模型应用场景。

img

L2阶段:攻坚篇丨RAG开发实战工坊

L2阶段:AI大模型RAG应用开发工程,主要学习RAG检索增强生成:包括Naive RAG、Advanced-RAG以及RAG性能评估,还有GraphRAG在内的多个RAG热门项目的分析。

img

L3阶段:跃迁篇丨Agent智能体架构设计

L3阶段:大模型Agent应用架构进阶实现,主要学习LangChain、 LIamaIndex框架,也会学习到AutoGPT、 MetaGPT等多Agent系统,打造Agent智能体。

img

L4阶段:精进篇丨模型微调与私有化部署

L4阶段:大模型的微调和私有化部署,更加深入的探讨Transformer架构,学习大模型的微调技术,利用DeepSpeed、Lamam Factory等工具快速进行模型微调,并通过Ollama、vLLM等推理部署框架,实现模型的快速部署。

img

L5阶段:专题集丨特训篇 【录播课】

img
四、资料领取:全套内容免费抱走,学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型,还是有基础想冲刺大厂、了解行业趋势,这份资料都能满足你!
现在只需按照提示操作,就能免费领取:

👇👇扫码免费领取全部内容👇👇

​

2025 年想抓住 AI 大模型的风口?别犹豫,这份免费资料就是你的 “起跑线”!

保姆级教程:用RAGFlow从零搭建本地知识库,并实现精准检索(附Python代码) 本文提供了一份详细的RAGFlow实战指南,帮助用户从零搭建本地知识库并实现精准检索。通过Docker部署、PDF文档处理、高级配置技巧和检索API优化等步骤,结合Python代码示例,全面提升知识库的构建效率和检索精度。特别适合需要处理技术文档的开发者和团队。 阅读详情

相关推荐

LLaMA-Factory可视化界面微调chatglm2;LoRA训练微调模型 简单案例

lore模型训练 参考:https://github.com/huggingface/peft。

weixin_42357472的博客 7798

一文读懂RAGFlow:从 0 到 1教你搭建RAG知识库

RAGFlow是一种融合了数据检索与生成式模型的新型系统架构,其核心思想在于将大规模检索系统与先进的生成式模型(如Transformer、GPT系列)相结合,从而在回答查询时既能利用海量数据的知识库,又能生成符合上下文语义的自然语言回复。该系统主要包含两个关键模块:数据检索模块和生成模块。数据检索模块负责在海量数据中快速定位相关信息,而生成模块则基于检索结果生成高质量的回答或文本内容。

python12345_的博客 8029

ThinkPad X230魔改指南:从博通网卡驱动到1080P屏显全攻略(附Sonoma避坑清单)

本文详细介绍了ThinkPad X230的全面改造方案,包括博通网卡驱动(BCM94352HMB)的安装与调试、1080P屏幕改装技术以及macOS Sonoma系统的适配优化。通过硬件升级和软件调优,使这台经典商务本焕发新生,适合DIY爱好者和技术极客参考实践。

weixin_30379531的博客 589

RAGFlow:基于OCR和文档解析的下一代 RAG 引擎

在对 RAGFlow 的探索中,我们可以清晰地看到其在RAG(Retrieval-Augmented Generation)领域中的重要地位和显著优势。RAGFlow作为一款下一代开源RAG引擎,不仅在问答对话方面表现出色,还具备高级内容生成的能力,例如长文生成等。这使得RAGFlow能够为用户提供更为全面和深入的服务,满足不同场景下的需求,尤其在企业级应用中发挥着重要作用。

FrenzyTechAI的博客 4万+

域控制器开发避坑实录:从硬件设计到软件集成的5个关键挑战

本文深入剖析了域控制器开发中的5大关键挑战,从硬件选型到软件集成,涵盖智能驾驶芯片选择、实时性优化、AUTOSAR架构适配等核心问题。通过实战案例和数据对比,为工程师提供避坑指南,助力提升开发效率和系统可靠性。

weixin_29258297的博客 396

Python+ArcGIS实战:5步搞定土壤类型预测(附随机森林模型配置技巧)

本文详细介绍了如何结合Python与ArcGIS,利用随机森林模型进行土壤类型预测。通过5个核心步骤——数据预处理、样本创建、模型构建、空间预测与精度验证,构建了一套自动化、高精度的空间预测工作流,并提供了关键的模型配置与调参技巧,助力GIS开发者高效完成土壤制图任务。

weixin_29227585的博客 396

大模型微调神器LLaMA Factory:保姆级教程,小白也能轻松上手,建议收藏

LLaMA Factory是一款无需编写代码即可完成大模型微调的友好平台。本文详细介绍了该平台的安装、配置与使用流程,包括选择模型、准备数据集、设置参数进行微调、验证效果、模型导出及量化等步骤。通过WebUI界面,用户可轻松完成上百种预训练模型的微调,包括LLaMA、Qwen、ChatGLM等主流模型,支持LoRA、QLoRA等多种训练方法,实现大模型的定制化开发与应用。

bugyinyin的博客 1005

Python3.11安装fairseq避坑指南:解决dataclasses兼容性问题(附详细代码修改)

本文详细解析了在Python 3.11环境下安装Fairseq时因dataclasses模块规则变更导致的安装失败问题。通过定位核心配置文件,将`default=SomeConfig()`修改为`default_factory=SomeConfig`,并调整依赖版本,提供了从源码修改到环境验证的完整解决方案,确保Fairseq顺利运行。

weixin_29098367的博客 499

推荐一款大模型微调神器——LLaMA Factory,大模型入门到精通,收藏这篇就足够了!

。LLaMA Factory应运而生,作为一个开源的大模型训练与推理框架,它以“高效、灵活、易用”为核心,为开发者提供了一站式解决方案。

Y525698136的博客 1145

NeRF必读:Mip-NeRF总结与公式推导

由于远景近景的分辨率不同,导致经典NeRF对于多尺度场景的表达存在明显瑕疵:NeRF对于近景的重建比较模糊而对于远景的重建出现锯齿。简单粗暴的策略是supersampling,但是费时费力。相较于NeRF使用的位置编码(PE)方式,Mip-NeRF提出了积分位置编码的方式(IPE).这种编码方式可以多尺度地描述空间中的信息分布,make sense.

i_head_no_back的博客 6081

向量库深度解析:选型、索引原理与生产实践

本文系统解析五大主流向量库(pgvector、Milvus、Weaviate、ChromaDB、Faiss)的定位、优缺点与适用场景,深入拆解FLAT、IVF、HNSW等核心索引原理,并重点分析Milvus的Compaction机制。针对数据治理场景,提供精准选型建议:中小规模优先pgvector或Weaviate,超大规模选择Milvus,开发测试推荐ChromaDB。核心索引推荐HNSW,兼顾检索速度与召回率。全文从理论到实践,为开发者提供清晰的向量库选型逻辑与生产落地指南。

a123147abc的博客 364

LLaMA-Factory:一站式大模型微调神器,轻松打造专属AI!

摘要 LLaMA-Factory是一个开源的大模型微调框架,支持100+主流LLM/VLM模型的高效微调。它集成了LoRA、QLoRA等先进微调技术,显著降低计算资源需求,并提供从训练监控到部署的全流程解决方案。框架支持多模态任务处理,内置可视化工具和多种部署方式,大幅降低大模型应用门槛。通过简洁的三步操作,用户即可完成模型微调,适用于学术研究、产业落地等多种场景。

携梦问道的博客 1364

Python爬虫实战:使用最新技术爬取GitHub Trending项目

本文将详细介绍如何使用Python最新技术栈构建一个高效的GitHub Trending爬虫。我们将使用异步请求库httpx、HTML解析库parsel、数据存储方案以及反反爬技术,完整实现一个能够稳定获取GitHub Trending数据的爬虫系统。文章包含5000余字详细教程,从环境搭建到代码实现,再到数据处理和存储,最后部署运行,提供全方位指导。GitHub Trending页面展示了GitHub上当前最受欢迎的项目,对于开发者了解技术趋势、发现优秀项目非常有价值。

2201_76125261的博客 739

小白都能把大模型“喂熟”的万能微调神器,LLaMA-Factory框架太香了

不管你是个人开发者,还是企业级应用需求,都能用它轻松搞定 LoRA、QLoRA、全参数微调 等高级玩法,开箱即用,模块化拉满!

2401_82469710的博客 879

基于风机和水轮机互补发电系统的Simulink仿真

随着全球对清洁能源的需求不断增长,风力发电和水力发电作为两种重要的可再生能源发电方式,受到了广泛关注。风机和水轮机互补发电系统结合了两者的优势,能够在不同的自然条件下稳定地输出电能,提高能源利用效率和供电可靠性。本文将详细介绍风机和水轮机互补发电的原理,包括风力发电原理、水力发电原理以及两者互补的机制和优势,并通过相关数学公式进行深入分析。水轮机也有其特定的特性曲线,包括流量 - 水头曲线、功率 - 流量曲线等。在不同的水头和流量条件下,水轮机的输出功率会发生变化。

平时工作较为繁忙,私信消息一般晚上回复,谢谢大家~~ 173

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

轻松搞定百个大模型微调!LLaMA-Factory:你的AI模型量产神器

今天,我们要介绍一个革命性的开源项目——LLaMA-Factory。它能够让你统一、高效地微调100+个大语言模型与视觉语言模型,堪称ACL 2024的明星工具!

瓦罗兰特顶级C位的博客 747

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

大模型A/B测试神器:基于Llama Factory的并行微调与快速对比方案

Llama Factory是一个开源的全栈大模型微调框架,简化和加速大型语言模型的训练、微调和部署流程。多模型支持:覆盖500+纯文本大模型和200+多模态大模型多种微调方法:包括LoRA轻量化微调、全参数微调、指令监督微调等可视化界面:提供Web UI界面,降低非专业用户的使用门槛标准化实验管理:支持实验配置保存、结果对比和复现提示:LoRA微调方法能在很大程度上节约显存,特别适合资源有限的评估场景。

SapphireFox37的博客 546

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

可视化微调神器Llama Factory:10分钟让大模型听懂你的话

本文介绍了如何在星图GPU平台上自动化部署Llama Factory镜像,快速实现大语言模型的可视化微调。该工具支持上百种主流模型,用户无需编码即可通过图形界面,在10分钟内基于自有数据训练出个性化的AI助手,典型应用于构建企业知识问答系统或智能客服机器人。

weixin_28913879的博客 79

大模型微调神器LLaMA Factory:从零入门到实战指南,让你的模型在消费级显卡上高效运行

LLaMA Factory是针对LLaMA系列模型的开源微调框架,采用PEFT技术如LoRA、QLoRA等,大幅降低算力需求。它提供多种微调方法、高效数据处理和训练支持,架构清晰,适合垂直领域适配、对话系统构建等场景。即使在消费级显卡上也能高效运行,显著降低大模型微调门槛,让开发者能快速定制专属模型。

2301_82275412的博客 1342

【值得收藏】LLaMA Factory:解决技术门槛的大模型微调神器,手把手教你用

LLaMA Factory是一个简单高效的大模型训练与微调平台,通过LoRA等技术实现轻量级微调,冻结大部分参数降低资源消耗。它解决了技术门槛高、资源需求大的问题,适合资源有限的微调、垂直领域定制和应用测试。文章详细介绍了安装流程、数据准备、SFT微调和模型合并的全过程,为开发者提供了完整的大模型微调解决方案。

bugyinyin的博客 374

可视化微调神器:Llama Factory让大模型定制像搭积木一样简单

本文介绍了如何在星图GPU平台上自动化部署Llama Factory镜像,实现大语言模型的可视化微调。该工具支持多模型选择与参数配置,用户无需编码即可快速定制领域专用AI,如法律咨询助手、电商客服等场景,显著降低技术门槛。

weixin_28746457的博客 34

解析Llama-Factory:大模型微调不再难!这款开源神器让你轻松搞定,建议收藏学习!

Llama-Factory是一款高效灵活的大模型微调与推理开源框架,支持多种流行语言模型。其模块化架构包含模型加载、优化补丁、量化和适配器等组件,提供LoRA、QLoRA等多种微调方法。通过WebUI和CLI界面,用户可轻松进行模型微调、推理和权重导出,支持多硬件设备优化。该框架显著降低大模型应用门槛,使开发者和研究者能在有限资源下高效定制和部署AI模型,是学习大模型微调的理想工具。

bugyinyin的博客 1018

轻松搞定百个大模型微调!LLaMA-Factory:你的AI模型量产神器,大模型入门到精通,收藏这篇就足够了!

今天,我们要介绍一个革命性的开源项目——LLaMA-Factory。它能够让你统一、高效地微调100+个大语言模型与视觉语言模型,堪称ACL 2024的明星工具!

2401_82469710的博客 1412
上一篇: Github-Awesome LLM Apps:大型语言模型应用宝库
下一篇: LLaMA Factory 安装与配置指南:在 Ubuntu 上快速搭建大模型微调平台
AI_小站
博客等级 码龄3年 6255粉丝 1155原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值