使用 LLaMA-Factory 微调自定义数据并加载对话的完整流程

快速上手!LLaMa-Factory最新微调实践,轻松实现专属大模型 近日,源2.0开源大模型与LLaMA-Factory框架完成全面适配,用户通过LLaMA-Factory,即可快捷、高效地对不同参数规模的源2.0基础模型进行全量微调及高效微调,轻松实现专属大模型。 阅读详情

本文将详细介绍如何使用 LLaMA-Factory 对本地自定义数据进行模型微调,并将微调后的模型导出为 GGUF 格式,最终通过 Ollama 加载运行。整个流程适用于显存有限(如 8GB)的用户,兼顾实用性与可操作性。


一、环境准备

首先创建 Conda 虚拟环境并安装 LLaMA-Factory:

conda create -n llamafactory python=3.12
conda activate llamafactory
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -e .
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple bitsandbytes

💡 建议使用清华源加速依赖安装。bitsandbytes 是支持 4-bit 量化训练的关键库。

启动 WebUI:

llamafactory-cli webui

此时可通过浏览器访问 http://127.0.0.1:7860 进入图形化界面。


二、准备自定义数据集

LLaMA-Factory 默认从项目根目录下的 data/ 文件夹加载数据。假设你的路径为:

D:\GitHub\LLaMA-Factory\data

将你的数据文件(例如 test.json)放入该目录。数据格式应为标准指令微调格式,例如:

[
{
"instruction": "识别并解释给定列表中的两个科学理论:细胞理论和日心说。",
"input": "",
"output": "细胞理论是生物科学的一个理论……"
}
]

编辑 dataset_info.json

在 data/dataset_info.json 中注册你的数据集。支持两种写法:

写法一(自动映射):

{
"my_dataset": {
"file_name": "test.json"
}
}

此方式默认将 "instruction" 视为 prompt,"output" 视为 response。

写法二(显式指定列名):

{
"my_dataset_explicit": {
"file_name": "test.json",
"columns": {
"prompt": "instruction",
"response": "output"
}
}
}

保存后刷新 WebUI,即可在“数据集”下拉菜单中看到 my_dataset。


三、启动微调训练

在 WebUI 中配置以下关键参数:

•模型选择:推荐使用 Qwen/Qwen3-1.7B(较小且适合微调)•量化方式:选择 4-bit (q4) 以降低显存占用•对话模板:若使用 Qwen3 的 thinking 模型,建议改用 qwen3-nothink 模板,避免思维链干扰微调效果•Offload 选项:若显存紧张但内存充足,可勾选 “使用 offload”,利用 CPU 辅助训练(速度较慢但可行)

点击“开始训练”,等待完成。

这时候以qwen3:1.7B-thinking为例,q4量化,显存占用在6-7G左右:

训练完成后会出现成功提示。

这时候在网页中点击加载模型,就可以对话了,如下图所示:


四、导出微调模型

训练完成后,在 WebUI 的“模型导出”页面:

1.检查点路径:选择刚刚生成的微调模型目录(如 output/checkpoint-xxx)2.输出目录:设为 output(或自定义路径)3.模型类型:务必选择 auto,以确保后续能使用 GPU 推理

具体配置参考下图:

导出成功后,会有如下提示:

output/ 目录将包含如下文件:

added_tokens.json
chat_template.jinja
config.json
generation_config.json
model.safetensors
tokenizer.json
tokenizer_config.json
vocab.json
...

这些是标准的 Hugging Face 格式模型文件。


五、转换为 GGUF 格式(用于 Ollama)

注意,下面的演示步骤过于简略,这样导入到ollama中之后的运行效果其实不如直接在llamafactory的webui中网页运行的效果。

为在 Ollama 中运行,需将模型转为 GGUF 格式。建议使用独立 Python 环境避免依赖冲突:

# 克隆 llama.cpp
git clone https://github.com/ggerganov/llama.cpp.git
# 安装转换依赖(建议新建虚拟环境)
python -m venv gguf_env
source gguf_env/bin/activate  # Windows: gguf_env\Scripts\activate
pip install -r llama.cpp/requirements.txt

执行转换命令(以 q8_0 精度为例):

python llama.cpp/convert_hf_to_gguf.py \
/path/to/LLaMA-Factory/output \
--outfile mymodel.gguf \
--outtype q8_0

✅ q8_0 精度较高,适合推理;若需更小体积,可选 q4_k_m 或 q5_k_m。

转换成功后,当前目录将生成 mymodel.gguf。


六、通过 Ollama 加载运行

在模型所在目录(如 output/)创建 Modelfile:

nano tmpmodelfile

内容如下:

FROM ./mymodel.gguf

然后创建 Ollama 模型:

ollama create mymodel -f tmpmodelfile

成功提示:

gathering model components
copying file sha256:... 100%
parsing GGUF
using existing layer ...
writing manifest
success

最后运行模型:

ollama run mymodel

现在就可以与自己微调过的模型对话了!


注意事项

•显存不足 优先尝试 1.7B 或 2B 的 Qwen 模型 + 4-bit 量化。•训练慢 可关闭 gradient_checkpointing 或减少 per_device_train_batch_size。•效果不佳 确保数据质量高、指令清晰,建议至少准备 100 条以上样本。•Ollama 无法导入 则要确保 GGUF 文件完整,且 Modelfile 路径正确。


通过以上步骤,就以完成 数据准备 → 微调训练 → 模型导出 → GGUF 转换 → Ollama 部署 的全流程,打造属于自己的专属语言模型!

想入门 AI 大模型却找不到清晰方向?备考大厂 AI 岗还在四处搜集零散资料?别再浪费时间啦!2025 年 AI 大模型全套学习资料已整理完毕,从学习路线到面试真题,从工具教程到行业报告,一站式覆盖你的所有需求,现在全部免费分享!

👇👇扫码免费领取全部内容👇👇

​

一、学习必备:100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT,帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例?大模型电子书?这份资料帮你站在 “行业高度” 学 AI:

1. 100+本大模型方向电子书

在这里插入图片描述

2. 26 份行业研究报告:覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容,涵盖:

  • 职业趋势:《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》;
  • 商业落地:《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》;
  • 领域细分:《AGI 在金融领域的应用报告》《AI GC 实践案例集》;
  • 行业监测:《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT:听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会,包含百度、腾讯、字节等企业的一线实践:

在这里插入图片描述

  • 安全方向:《端侧大模型的安全建设》《大模型驱动安全升级(腾讯代码安全实践)》;
  • 产品与创新:《大模型产品如何创新与创收》《AI 时代的新范式:构建 AI 产品》;
  • 多模态与 Agent:《Step-Video 开源模型(视频生成进展)》《Agentic RAG 的现在与未来》;
  • 工程落地:《从原型到生产:AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看:大厂 AI 岗面试 “弹药库”,300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗?这份面试资料帮你提前 “押题”,拒绝临场慌!

1. 107 道大厂面经:覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景,包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题,每道题都附带思路解析:

2. 102 道 AI 大模型真题:直击大模型核心考点

针对大模型专属考题,从概念到实践全面覆盖,帮你理清底层逻辑:

3. 97 道 LLMs 真题:聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案,比如让很多人头疼的 “复读机问题”:


三、路线必明: AI 大模型学习路线图,1 张图理清核心内容

刚接触 AI 大模型,不知道该从哪学起?这份「AI大模型 学习路线图」直接帮你划重点,不用再盲目摸索!

在这里插入图片描述

路线图涵盖 5 大核心板块,从基础到进阶层层递进:一步步带你从入门到进阶,从理论到实战。

img

L1阶段:启航篇丨极速破界AI新时代

L1阶段:了解大模型的基础知识,以及大模型在各个行业的应用和分析,学习理解大模型的核心原理、关键技术以及大模型应用场景。

img

L2阶段:攻坚篇丨RAG开发实战工坊

L2阶段:AI大模型RAG应用开发工程,主要学习RAG检索增强生成:包括Naive RAG、Advanced-RAG以及RAG性能评估,还有GraphRAG在内的多个RAG热门项目的分析。

img

L3阶段:跃迁篇丨Agent智能体架构设计

L3阶段:大模型Agent应用架构进阶实现,主要学习LangChain、 LIamaIndex框架,也会学习到AutoGPT、 MetaGPT等多Agent系统,打造Agent智能体。

img

L4阶段:精进篇丨模型微调与私有化部署

L4阶段:大模型的微调和私有化部署,更加深入的探讨Transformer架构,学习大模型的微调技术,利用DeepSpeed、Lamam Factory等工具快速进行模型微调,并通过Ollama、vLLM等推理部署框架,实现模型的快速部署。

img

L5阶段:专题集丨特训篇 【录播课】

img
四、资料领取:全套内容免费抱走,学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型,还是有基础想冲刺大厂、了解行业趋势,这份资料都能满足你!
现在只需按照提示操作,就能免费领取:

👇👇扫码免费领取全部内容👇👇

​

2025 年想抓住 AI 大模型的风口?别犹豫,这份免费资料就是你的 “起跑线”!

保姆级教程:用RAGFlow从零搭建本地知识库,并实现精准检索(附Python代码) 本文提供了一份详细的RAGFlow实战指南,帮助用户从零搭建本地知识库并实现精准检索。通过Docker部署、PDF文档处理、高级配置技巧和检索API优化等步骤,结合Python代码示例,全面提升知识库的构建效率和检索精度。特别适合需要处理技术文档的开发者和团队。 阅读详情

相关推荐

【大模型】使用 LLaMA-Factory 进行大模型微调:从入门到精通

使用 LLaMA-Factory 进行模型微调:从入门到精通

weixin_43988131的博客 1854

一文读懂RAGFlow:从 0 到 1教你搭建RAG知识库

RAGFlow是一种融合了数据检索与生成式模型的新型系统架构,其核心思想在于将大规模检索系统与先进的生成式模型(如Transformer、GPT系列)相结合,从而在回答查询时既能利用海量数据的知识库,又能生成符合上下文语义的自然语言回复。该系统主要包含两个关键模块:数据检索模块和生成模块。数据检索模块负责在海量数据中快速定位相关信息,而生成模块则基于检索结果生成高质量的回答或文本内容。

python12345_的博客 8029

LLaMA-Factory可视化界面微调chatglm2;LoRA训练微调模型 简单案例

lore模型训练 参考:https://github.com/huggingface/peft。

weixin_42357472的博客 7798

RAGFlow:基于OCR和文档解析的下一代 RAG 引擎

在对 RAGFlow 的探索中,我们可以清晰地看到其在RAG(Retrieval-Augmented Generation)领域中的重要地位和显著优势。RAGFlow作为一款下一代开源RAG引擎,不仅在问答对话方面表现出色,还具备高级内容生成的能力,例如长文生成等。这使得RAGFlow能够为用户提供更为全面和深入的服务,满足不同场景下的需求,尤其在企业级应用中发挥着重要作用。

FrenzyTechAI的博客 4万+

代码审计工具学习之RISP(安装以及初步操作)

1 代码审计 1.1名词解释 代码审计(Code audit)是一种以发现程序错误,安全漏洞和违反程序规范为目标的源代码分析。软件代码审计是对编程项目中源代码的全面分析,旨在发现错误,安全漏洞或违反编程约定。 它是防御性编程范例的一个组成部分,它试图在软件发布之前减少错误。 C和C ++源代码是最常见的审计代码,因为许多高级语言(如Python)具有较少的潜在易受攻击的功能(例如,不检查边界的函数)。 顾名思义就是检查源代码中的安全缺陷,检查程序源代码是否存在安全隐患,或者有编码不规范的地方,通过..

weixin_52515588的博客 1万+

人形机器人人机交互解决方案(2026完整版)

《人形机器人人机交互解决方案(2026完整版)》摘要 本项目针对2026年人形机器人产业爆发式增长需求,提出了一套完整的人机交互解决方案。方案包含十大核心模块(语音识别、情感识别、手势识别等),采用五层架构设计,实现多模态融合交互,响应时间≤32ms,准确率≥99%。覆盖制造业巡检、家庭服务等10大场景,适配20+主流机型。项目总投资4.1亿元,预期年营收8.2亿元,将申请专利120项,培养专业人才300人。通过技术创新解决当前交互体验生硬、安全可控性不足等痛点,助力我国人形机器人产业实现从"跟跑

随读手记 777

如何在Llama-Factory中加载自定义数据集进行微调?

本文详细介绍如何在LLama-Factory中加载自定义数据集进行指令微调,涵盖数据格式映射、LoRA/QLoRA显存优化技术、WebUI操作流程及企业客服机器人实战案例,帮助开发者高效完成大模型微调任务。

weixin_35748962的博客 1127

Neo4j桌面版导入CVS文件

我们的relation.csv是这样的。

m0_53573725的博客 818

使用LLaMA Factory进行模型微调全流程

本文详细讲解了如何使用 LLaMA Factory 进行大语言模型微调的全流程,包含了模型微调需要接触到的一些参数的讲解。

weixin_46241866的博客 2137

别再让CPU干GPU的活了:CST Studio Suite GPU加速深度调优指南(从驱动版本到任务管理器监控)

本文深入探讨了CST Studio Suite的GPU加速深度调优方法,从NVIDIA驱动版本选择到系统级资源管理,再到实时监控与瓶颈诊断技术。通过科学的驱动优化、GPU资源管理策略和高级调优技巧,显著提升仿真效率,特别适合电磁仿真工程师和硬件加速需求的专业用户。

weixin_28740299的博客 168

22、自动化地图制作与Pandas数据处理

本文介绍了在ArcGIS Pro中使用arcpy.mp模块进行自动化地图制作的关键技术,涵盖地图元素的访问、移动与文本修改,以及将布局批量导出为JPEG、PNG和PDF格式的方法。同时,文章深入探讨了Pandas在数据处理和地理空间分析中的应用,特别是Spatially Enabled DataFrames(SEDFs)的使用。通过综合案例展示了地图更新与数据清洗、分析的结合,提升了地图制作与数据处理的效率,为GIS自动化工作流提供了实用指南。

w8x9y0z1的博客 79

使用llama-factory框架对自定义数据集进行微调

整个过程感觉非常流畅,基本没有报错问题。支持llamafactory!!

deeping games 998

倒立摆的PLC控制(模型分析+ SCL源代码)

首先简单介绍下倒立摆模型,下面这幅图是MATLAB网站上的倒立摆模型,下面我们利用牛顿第二运动定律建立摆杆的运动方程。

RXXW_Dor的博客 3336

Llama-Factory支持多轮对话微调的数据构造方法

本文介绍如何使用Llama-Factory框架进行多轮对话微调,重点讲解结构化JSON数据构造方法、角色区分机制及上下文管理策略。通过LoRA与QLoRA实现高效参数微调,支持低资源环境下大模型训练,并提供从数据准备到模型部署的完整流程最佳实践。

weixin_31176789的博客 880

ADS基础教程22 - 有限元电磁仿真(FEM)

一、引言二、FEM操作过程1.新建Layout1.新建Layout2.EM设置3.设置Frequency plan4.设置Output plan5.设置Options6.设置网格频率7.仿真结果三、总结介绍了在ADS中如何进行FEM仿真过程。END!}}END!

XZ_ZC的博客 2584

使用MATLAB和Simulink来创建一个智能家居照明控制系统的仿真模型

智能家居中的智能照明控制系统旨在通过自动化手段优化家庭照明,提高能源效率和居住舒适度。这通常涉及传感器(如光敏传感器、运动传感器)、控制器(如微控制器或PLC)以及执行器(如调光器或开关)。在这个教程中,我们将使用MATLAB和Simulink来创建一个智能家居照明控制系统的仿真模型。

xiaoheshang_123的博客 222

【大模型微调实战】LLaMA Factory快速微调(三):零门槛微调LLaMA 3/Qwen,附详细步骤

本篇教程完整带领你完成了基于LLaMA Factory的零代码大模型微调全流程,结合前两节的微调原理与数据集制作教程,你已经掌握了大模型微调的完整闭环能力: 1. 理解了大模型微调的核心原理,学会了制作符合要求的高质量微调数据集 2. 完成了全平台环境搭建,支持本地与云端双方案,解决了硬件瓶颈问题 3. 零代码实现了LLaMA 3、Qwen等主流模型的LoRA/QLoRA微调,掌握了核心参数配置方法 4. 完成了微调模型的效果验证、推理测试、权重合并与多格式导出,适配了不同的部署场景

学海无涯,笃行致远 2136

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

使用Llama-Factory进行多轮对话微调的完整流程演示

本文介绍如何使用Llama-Factory对大语言模型进行多轮对话微调,涵盖数据准备、LoRA/QLoRA高效微调、损失掩码处理、WebUI操作及模型部署全流程,支持消费级显卡低成本实现专业级效果。

weixin_33205138的博客 562

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

万字长文,梳理从数据集准备到模型微调的全流程!良心好文!Llama Factory微调系列文章(一)

今天这一期,我们来使用目前最热门的本地微调工具:LLaMA Factory 配合 Easy DataSet一站式完成从数据集准备到模型微调的全流程。

huang9604的博客 1195

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

Llama guard的启动部署以及利用llama Factory的微调

本文记录通过vLLM将llama guard在服务器端进行部署并进行模型微调的过程。由于一些文档不完善,本文尽可能提供了一些常见问题解决方案,以及配置方法供大家参考。

Y525698136的博客 771

LLaMA Factory深度解析:中小规模业务的大模型微调框架,轻松实现从数据准备到API部署的全流程!

LLaMA Factory是一款专为中小规模业务设计的大模型微调框架,核心优势在于全流程数据适配、轻量多任务调度和部署生态兼容。支持8G显存运行7B模型,提供低代码数据处理、多任务权重配置和快速部署能力。通过企业客服问答系统实战案例,展示了从数据准备、模型微调到API部署的完整流程,让业务人员无需编写复杂代码即可落地大模型应用。

2401_84204413的博客 1814

基于LLaMA-Factory的LoRA微调实战与性能剖析​

本研究系统探讨了在​​有限计算资源​​下,利用LLaMA-Factory框架结合​​LoRA(低秩适应)​​ 技术对大语言模型进行高效微调的完整流程与方法。LoRA通过冻结预训练模型参数、引入可训练的低秩矩阵(如秩r=12)来近似全参数微调的效果,显著降低了显存消耗与计算开销,使大模型适配任务的门槛大幅降低。文章从环境搭建、数据集准备、参数分析、显存消耗、LOSS曲线分析等多维度多方面进行了阐述。

m0_63137469的博客 1435

实战:如何用LLaMA-Factory微调中文对话模型并导出到Ollama(附数据集配置)

本文详细介绍了使用LLaMA-Factory微调中文对话模型并部署到Ollama的完整流程。从环境搭建、数据集准备、WebUI可视化微调,到模型转换与Ollama部署,手把手教你打造专属AI助手。文章还探讨了进阶应用,如利用微调模型进行文本向量提取,以构建智能知识库和实现语义搜索。

qsc901234567的博客 875

手把手教你用LLaMa-Factory微调LLaMA3

通过LLaMa-Factory,微调大模型变得简单高效。本文介绍环境搭建、模型准备、数据集处理到实际微调和对话测试的完整流程,适合新手快速上手,无需复杂配置即可完成LLaMA3的本地微调。

weixin_33597080的博客 1014

使用Llama-Factory进行中文模型微调的完整流程分享

本文介绍如何使用Llama-Factory高效微调中文大语言模型,支持LoRA和QLoRA技术,降低显存消耗,简化训练流程。涵盖数据准备、配置编写、训练部署全流程,适用于Qwen、Baichuan等主流中文模型。

weixin_31749299的博客 1078

从零开始用Llama-Factory微调一个客服问答模型(完整流程)

本文介绍如何使用Llama-Factory快速微调垂直领域客服问答模型,重点讲解数据准备、LoRA/QLoRA训练策略、WebUI操作流程及模型导出部署方法,帮助开发者在低资源环境下高效构建专业级金融客服助手。

weixin_32673065的博客 1092
上一篇: 大模型(Qwen3)训练实战:从零开始玩转LLaMA-Factory
下一篇: LLaMA Factory大模型微调框架—从“技术活“变成“业务可操作的落地活“
AI_小站
博客等级 码龄3年 6255粉丝 1155原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值