打造自己的大模型-02篇｜LoRA微调大模型的评测和导出

Llama-Turbo Llama-Turbo 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 1k累计阅读 1k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄4年
关注
原创 最新推荐文章于 2026-09-09 10:59:13 发布 1k 阅读 AI 写同款· GEO 优化 ›
消费级显卡微调8B模型：实战LoRA打造专属营销文案模型 大模型微调是让通用AI适配垂直业务场景的关键技术，而LoRA作为高效微调的代表方法，通过冻结原模型权重、仅训练低秩适配器，大幅降低了算力门槛。结合QLoRA的4-bit量化技术，一张消费级显卡即可完成8B规模开源模型的本地化训练，兼顾数据安全与成本控制。该方案在营销文案生成、品牌风格定制等场景极具实用价值，能够基于少量高质量语料快速产出符合调性的种草笔记、公众号推文和电商卖点内容。本文从模型选型、数据预处理、参数配置到效果调优，完整复盘了如何用Qwen2.5-7B-Instruct配合LoRA微调，跑通“本 阅读详情

在之前的的文章《打造自己的大模型｜01篇LLaMA-Factory微调Llama3和其占用资源分析》，我们通过训练了9.5小时，完成了Llama3-8B-Instruct的LoRA 微调训练。

本篇文章，我们将继续利用LLaMA-Factory，进行大模型的评测和导出。

训练文件保存的文件夹

保存在默认的文件夹位置，主要文件有：adapter_model.safetensors，保存着LoRA微调Adapter层的权重参数。

在这里插入图片描述

加载Adapter参数并对话

选择适配器路径，点击Chat，加载LoRA的Adapter层参数：

在这里插入图片描述

在这里插入图片描述

对话结果，现在回答默认都是中文了。但是存在一些数据污染，将自己识别成Google创造出来的了：

在这里插入图片描述

在这里插入图片描述

评测微调的大模型

一般微调之后的大模型，我们都需要评估他的性能，和是否满足我们测试数据集和业务的目标。

利用LLaMA-Factory可视化页面上的，Evaluate&Predict页面，选择的测试数据集是另一个中文语料，alpaca_gpt4_zh：

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

占用的显存大小和运行时间：

设置了Batch-Size=2的原因，占用的显存空间会比较大。

在这里插入图片描述

总体的运行时间是2小时。

在这里插入图片描述

评测的结果保存：

在这里插入图片描述

在这里插入图片描述

合并导出微调的大模型

将我们的基座大模型Llama3-8B-Instruct和微调的Adapter层参数合并，并导出：

在这里插入图片描述

如果采用cuda导出模型，则需要大量的显存，24GB显存的A100单卡上运行，会出现OOM，内存溢出的问题。

所以我们需要选择CPU导出。

导出的结果和文件夹内容，和基座大模型的文件一致：

在这里插入图片描述

直接对话合并导出的大模型

在这里插入图片描述

在这里插入图片描述

对话结果，效果与加载Adapter参数的相似：

在这里插入图片描述

在这里插入图片描述

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享**（安全链接，放心点击）**👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例
阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望
阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍
阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享**（安全链接，放心点击）**👈

​

标签
#人工智能 #LLM #大模型 #自然语言处理 #微调
#本地化部署 #私有化部署
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
ANSYS接触分析实战：从法兰连接案例看接触刚度与穿透容差的黄金搭配 本文以法兰连接为实战案例，深入解析了ANSYS接触分析中接触刚度(FKN)与穿透容差(FTOLN)的参数设置策略。通过系统性敏感性分析，揭示了这对关键参数的博弈关系与调优逻辑，旨在帮助工程师在保证计算收敛的同时，获得高精度的有限元分析结果，有效解决工程中的非线性接触难题。 阅读详情

相关推荐

CNN卷积神经网络手写数字识别实例及代码详解

本文的代码来自githup的Deep Learning的toolbox，是用Matlab实现的。感谢该toolbox的作者付出和分享。 我在应该该代码进行训练时，出现一些报错，如expand函数应用不对，flipall函数未定义等问题，对这些问题进行了修正，完成网络训练和验证。 本文mnist_uint8.mat的获取可以参照我的另一篇博客：MNIST数据库处理--matlab生成mnist_

VivienFu的专栏 6万+

LLaMA-Factory 将基础模型和 LoRA 适配器合并并导出为可直接使用的模型

flyfish

二分掌柜的 861

ST-Link使用教程

关于使用ST-Link烧录.hex文件教程。以及报错解决！适合刷ARM,使用STM32的教程！

qq_42977675的博客 1万+

一文彻底搞懂大模型 - LLaMA-Factory

提供了一套完整的工具和接口，使得用户能够轻松地对。

Cairo_A的博客 1529

【UE5_蓝图】实时音频采集与动态WAV文件保存实战指南

本文详细介绍了在UE5中使用蓝图实现实时音频采集与动态WAV文件保存的完整流程。从插件配置、录音框架搭建到动态文件名生成和音频参数优化，提供了实用技巧和常见问题解决方案，特别适合需要快速实现音频采集功能的开发者。

weixin_29009669的博客 409

淘宝链接跳转微信全攻略：自建合规中转页实现私域引流

在跨平台运营中，链接跳转是连接不同生态、实现流量引导的关键技术。其核心原理是通过服务器端或前端逻辑，将用户从一个平台的链接安全引导至目标页面，同时规避平台间的访问限制。这项技术的核心价值在于打破数据孤岛，实现跨平台用户沉淀与精细化运营，广泛应用于电商引流、私域流量构建和跨平台营销等场景。本文聚焦于**淘宝短链**与**企业微信**之间的跳转难题，提供了一套基于自建中转页面的完整工程解决方案，手把手教你如何通过合规的技术手段，将淘宝流量高效、安全地引导至微信生态，并实现数据追踪与客户分流。

weixin_34185512的博客 411

《1 篇搞定！LLaMA-Factory WebUI 模型训练与导出完整流程》

通过Web界面完成训练到部署的全流程，平均耗时较命令行减少40%。重点关注数据质量与超参数调优，即可获得优于基准模型15%的生成效果。建议定期更新框架版本以获取最新优化特性。注：本文操作基于LLaMA-Factory v0.6.3，实测显存占用误差±3%

2501_93894766的博客 490

【语音识别入门】特征提取（Python完整代码）

给定一段音频，请提取12维MFCC特征和23维FBank，阅读代码预加重、分帧、加窗部分，完善作业代码中FBank特征提取和MFCC特征提取部分，并给出最终的FBank特征和MFCC特征，存储在纯文本中，用默认的配置参数，无需进行修改。抽样时频率不够高，抽样出来的点既代表了信号中的低频信号的样本值，也同时代表高频信号样本值，在信号重建的时候，高频信号被低频信号代替，两种波形完全重叠在一起，形成严重失真。DFT得到了每个频带上信号的能量，但是人耳对频率的感知不是等间隔的，近似于对数函数。

weixin_51293984的博客 1万+

【解决llama-factory导出并量化模型时爆显存】

即可，本质上这个问题是通过将模型放在cpu上加载，gpu上量化解决的。导出模型后记得改回来，万一以后能用上更大显存的服务器呢？这时候在cpu上加载模型就是浪费时间了。服务器GPU是3090Ti-24G，用llama-factory来QLoRA微调Qwen2.5-14B-Instruct之后就该导出模型了。主要原因是直接在gpu上加载了高精度模型。

Ob1_M的博客 864

Hierarchical-Localization 环境配置与依赖管理全攻略

本文提供了Hierarchical-Localization（hloc）视觉定位工具箱从零开始的环境配置与依赖管理全攻略。针对Windows、Ubuntu和macOS三大操作系统，详细解析了Python版本选择、PyTorch与CUDA版本匹配、pycolmap版本锁定等核心依赖的安装步骤，并汇总了权重文件格式、NumPy版本、路径配置等常见问题的排查与解决方案，旨在帮助用户高效搭建稳定的hloc开发环境。

weixin_29066781的博客 335

KylinOS 离线安装 MinIO【图文步骤】

在国产操作系统 KylinOS 中安装 MinIO，详细步骤...

甘蓝的专栏 1536

【07】LLaMA-Factory微调大模型——微调模型导出与微调参数分析

【07】LLaMA-Factory微调大模型——微调模型导出与微调参数分析

H66778899的博客 1万+

基于FreeRedis实现的.NET Redis客户端缓存缓存键条件优雅过滤

在.NET开发中，使用Redis作为缓存解决方案是很常见的。FreeRedis是一个功能强大的Redis客户端库，它提供了丰富的功能和灵活性，使我们能够轻松地与Redis进行交互。在本文中，我们将探讨如何使用FreeRedis实现缓存键条件的优雅过滤，以提高缓存的效率和准确性。

RzuScala的博客 329

打造自己的大模型｜02篇LoRA微调大模型的评测和导出

在之前的的文章《打造自己的大模型｜01篇LLaMA-Factory微调Llama3和其占用资源分析》，我们通过训练了9.5小时，完成了Llama3-8B-Instruct的LoRA。本篇文章，我们将继续利用LLaMA-Factory，进行大模型的评测和导出。

Langchain的博客 1771

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等，可在创建的窗口进行控制

汉书HE8，好用的汇编代码编写工具

汉书HE8，好用的汇编代码编写工具早期编写汇编代码所用功能强大

从零打造自己的大模型｜02篇LoRA微调大模型的评测和导出

之前的的文章，我们通过训练了9.5小时，完成了Llama3-8B-Instruct的LoRA 微调训练。本篇文章，我们将继续利用LLaMA-Factory，进行大模型的评测和导出。

huang9604的博客 772

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章，有部分习题没有答案，全英文复分析阿尔福斯(Ahlfors) 第三版答案

基于LLaMA-Factory和Easy Dataset的Qwen3微调实战：从数据准备到LoRA微调推理评估的全流程指南

基于LLaMA-Factory和Easy Dataset的Qwen3微调实战：从数据准备到LoRA微调推理评估的全流程指南

丨汀、的博客 5903

老版QQ原生表情gif动态

这是老版的QQ表情，不过全是动态的的，Windows照片查看器是不会动的，可以右击用浏览器打开查看，再说一遍是老版的，只是分享给宁愿用老版也要动态的人。

周红伟：DeepSeek大模型微调和部署，基于LLaMA-Factory和Easy Dataset的Qwen3微调实战：从数据准备到LoRA微调推理评估的全流程指南

随着开源大模型如 LLaMA、Qwen 和 Baichuan 的广泛应用，其基于通用数据的训练方式在特定下游任务和垂直领域中的表现仍存在提升空间，因此衍生出针对具体场景的微调训练需求。这些训练涵盖预训练（PT）、指令微调（SFT）以及基于人工反馈的对齐技术（如 RLHF）等完整链路。然而，大模型训练对显存和算力要求较高，且需要开发者具备一定的专业知识，存在一定技术门槛。为此，应运而生，旨在整合主流的高效微调训练技术，兼容市面上多数开源模型，打造一个功能全面、适配性强的训练框架。

周红伟讲AI 846

手把手教你：LLaMA-Factory+LoRA微调Llama3，打造你的专属中文增强大模型！

本文基于LLaMA-Factory框架，采用LoRA微调技术对Llama3中文模型进行优化。通过Alpaca-GPT4-Zh数据集在单卡环境下完成SFT训练，实现高效参数适配。训练后利用WebUI与CLI进行推理测试，显著提升中文对话能力，并通过vLLM部署合并后的模型，验证了其在实际应用中的性能与效率，为大模型轻量化落地提供了可行方案。

m0_59162248的博客 163

BGE-M3 微调实战：从模型评测到生产环境部署的完整指南

学习率设置：BGE-M3需要比BERT更小的学习率（建议2e-5到5e-6）早停策略：验证损失连续3次不下降即停止，避免过拟合基于火山引擎豆包大模型，从零搭建一个实时语音通话应用。它不是简单的问答，而是需要你亲手打通 ASR（语音识别）→ LLM（大脑思考）→ TTS（语音合成）的完整 WebSocket 链路。对于想要掌握 AI 原生应用架构的同学来说，这是个绝佳的练手项目。架构理解：掌握实时语音应用的完整技术链路（ASR→LLM→TTS）技能提升：学会申请、配置与调用火山引擎AI服务。

2600_94960078的博客 1103

大模型微调全自动工厂：从LoRA/QLoRA实战到工程化部署

大语言模型微调是连接通用基座能力与垂直领域需求的关键技术。其核心原理是通过在预训练模型基础上，使用特定领域数据进行有监督训练，使模型适应新任务。参数高效微调技术，尤其是LoRA及其量化版本QLoRA，通过引入可训练的低秩适配器，实现了以极低参数量（通常不足原模型1%）逼近全参数微调的效果，极大降低了计算和显存门槛，成为技术落地的价值基石。在应用场景上，从代码生成、智能问答到专业文档分析，微调都能快速定制出领域专家模型。本文以构建“微调工厂”为核心，系统阐述了如何利用QLoRA等关键技术，结合LlamaFac

weixin_34327761的博客 401

【收藏必备】LLaMA-Factory：零代码微调大模型，手把手教你打造专业医疗AI助手

本文介绍LLaMA-Factory这一可视化大模型微调工具，以中文医疗问答为例，详细展示了从环境搭建、数据准备、参数调整到模型训练的全过程。通过QLoRA技术降低显存需求，使消费级GPU也能轻松微调Qwen3-0.6B-Instruct模型，无需编写复杂代码即可打造专业医疗问答助手，为AI初学者提供了入门大模型微调的实用指南。

2401_85325726的博客 803

基于LLaMA-Factory与Qwen2的垂直大模型LoRA微调实战指南

大语言模型（LLM）的微调（Fine-tuning）技术，是解决通用模型在垂直领域应用时出现专业术语理解偏差、回答格式不符等问题的核心方法。其原理在于，通过在预训练好的基座模型上，使用特定领域数据对少量参数进行额外训练，使模型在保留通用能力的同时，习得领域专精知识。参数高效微调（PEFT）方法，尤其是LoRA（Low-Rank Adaptation），因其能以极低的参数量（通常仅为原模型的0.1%-1%）和计算成本达到接近全参数微调的效果，成为当前技术落地的首选。这项技术的价值在于，能够快速、低成本地打造出

weixin_34341229的博客 390

清华镜像站之外的新选择：一站式大模型下载、训练、推理平台来了

ms-swift平台整合模型下载、微调、量化、推理与评测全流程，通过统一接口降低大模型开发门槛。支持LoRA、QLoRA、FSDP等技术开箱即用，让个人开发者也能在消费级显卡上高效训练和部署模型，实现从实验到服务的无缝衔接。

weixin_35266799的博客 1023

MS-SWIFT新手指南：从零开始微调大模型，无需专业设备

本文介绍了基于星图GPU平台自动化部署ms-swift镜像的完整流程，帮助用户无需高端硬件即可实现大模型微调。通过该平台一键启动预装环境，结合MS-SWIFT框架支持LoRA等高效微调技术，可快速完成如医疗问答、AI助手等场景的模型定制与部署，显著降低AI开发门槛。

AmethystFox57的博客 569

lora-scripts支持哪些模型？Stable Diffusion与LLaMA 2微调实测报告

本文介绍了如何在星图GPU平台上自动化部署lora-scripts模型训练工具，以简化LoRA微调流程。该工具支持对Stable Diffusion等图像生成模型进行风格定制，用户无需编写复杂代码，即可利用少量数据快速训练出专属的AI绘画风格，显著降低模型定制门槛。

weixin_34581040的博客 1079

Qwen3-32B微调全流程：从数据准备到模型导出

本文详细介绍如何使用LoRA对Qwen3-32B进行高效微调，涵盖数据准备、模型训练、量化压缩到部署上线的全流程。突出其128K上下文、中文优势与低成本适配特性，助力企业打造专业级AI助手。

weixin_35755823的博客 983
上一篇： 打造自己的大模型-01篇｜LLaMA-Factory微调Llama3和其占用资源分析
下一篇： 打造自己的大模型｜03篇 使用llama.cpp量化并在Mac上私有部署ChatGPT
点赞 24
评论 0
书签 书签 15
Llama-Turbo
Llama-Turbo
博客等级 码龄4年 9901粉丝 2022原创
+ 关注
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值