打造自己的大模型-02篇|LoRA微调大模型的评测和导出

【书生·浦语】大模型实战营——第四课笔记 微调会使LLM在具体的领域中输出更好的回答。有两种微调模式:1、增量预训练微调:学会垂类领域的常识(只需要回答2、指令跟随微调:学会对话模板(一问一答场景与所需的训练数据不一样。实际对话时,通常会存在三种角色:1、System:要求系统担任一个具体的角色2、User:用户进行提问3、Assistant:根据user输入,结合system上下文,做出回答这些机械性的工作已经用xtuner打包好了,一键启动即可。 阅读详情

在之前的的文章《打造自己的大模型|01篇LLaMA-Factory微调Llama3和其占用资源分析》,我们通过训练了9.5小时,完成了Llama3-8B-Instruct的LoRA 微调训练。

本篇文章,我们将继续利用LLaMA-Factory,进行大模型的评测和导出。

训练文件保存的文件夹

保存在默认的文件夹位置,主要文件有:adapter_model.safetensors,保存着LoRA微调Adapter层的权重参数。

加载Adapter参数并对话

选择适配器路径,点击Chat,加载LoRA的Adapter层参数:

对话结果,现在回答默认都是中文了。但是存在一些数据污染,将自己识别成Google创造出来的了:

评测微调的大模型

一般微调之后的大模型,我们都需要评估他的性能,和是否满足我们测试数据集和业务的目标。

利用LLaMA-Factory可视化页面上的,Evaluate&Predict页面,选择的测试数据集是另一个中文语料,alpaca_gpt4_zh:

占用的显存大小和运行时间:

设置了Batch-Size=2的原因,占用的显存空间会比较大。

总体的运行时间是2小时。

评测的结果保存:

合并导出微调的大模型

将我们的基座大模型Llama3-8B-Instruct和微调的Adapter层参数合并,并导出:

如果采用cuda导出模型,则需要大量的显存,24GB显存的A100单卡上运行,会出现OOM,内存溢出的问题。

所以我们需要选择CPU导出。

导出的结果和文件夹内容,和基座大模型的文件一致:

直接对话合并导出的大模型

对话结果,效果与加载Adapter参数的相似:

想入门 AI 大模型却找不到清晰方向?备考大厂 AI 岗还在四处搜集零散资料?别再浪费时间啦!2026 年 AI 大模型全套学习资料已整理完毕,从学习路线到面试真题,从工具教程到行业报告,一站式覆盖你的所有需求,现在全部免费分享!

👇👇扫码免费领取全部内容👇👇

​

一、学习必备:100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT,帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例?大模型电子书?这份资料帮你站在 “行业高度” 学 AI:

1. 100+本大模型方向电子书

在这里插入图片描述

2. 26 份行业研究报告:覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容,涵盖:

  • 职业趋势:《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》;
  • 商业落地:《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》;
  • 领域细分:《AGI 在金融领域的应用报告》《AI GC 实践案例集》;
  • 行业监测:《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT:听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会,包含百度、腾讯、字节等企业的一线实践:

在这里插入图片描述

  • 安全方向:《端侧大模型的安全建设》《大模型驱动安全升级(腾讯代码安全实践)》;
  • 产品与创新:《大模型产品如何创新与创收》《AI 时代的新范式:构建 AI 产品》;
  • 多模态与 Agent:《Step-Video 开源模型(视频生成进展)》《Agentic RAG 的现在与未来》;
  • 工程落地:《从原型到生产:AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看:大厂 AI 岗面试 “弹药库”,300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗?这份面试资料帮你提前 “押题”,拒绝临场慌!

1. 107 道大厂面经:覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景,包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题,每道题都附带思路解析:

2. 102 道 AI 大模型真题:直击大模型核心考点

针对大模型专属考题,从概念到实践全面覆盖,帮你理清底层逻辑:

3. 97 道 LLMs 真题:聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案,比如让很多人头疼的 “复读机问题”:


三、路线必明: AI 大模型学习路线图,1 张图理清核心内容

刚接触 AI 大模型,不知道该从哪学起?这份「AI大模型 学习路线图」直接帮你划重点,不用再盲目摸索!

在这里插入图片描述

路线图涵盖 5 大核心板块,从基础到进阶层层递进:一步步带你从入门到进阶,从理论到实战。

img

L1阶段:启航篇丨极速破界AI新时代

L1阶段:了解大模型的基础知识,以及大模型在各个行业的应用和分析,学习理解大模型的核心原理、关键技术以及大模型应用场景。

img

L2阶段:攻坚篇丨RAG开发实战工坊

L2阶段:AI大模型RAG应用开发工程,主要学习RAG检索增强生成:包括Naive RAG、Advanced-RAG以及RAG性能评估,还有GraphRAG在内的多个RAG热门项目的分析。

img

L3阶段:跃迁篇丨Agent智能体架构设计

L3阶段:大模型Agent应用架构进阶实现,主要学习LangChain、 LIamaIndex框架,也会学习到AutoGPT、 MetaGPT等多Agent系统,打造Agent智能体。

img

L4阶段:精进篇丨模型微调与私有化部署

L4阶段:大模型的微调和私有化部署,更加深入的探讨Transformer架构,学习大模型的微调技术,利用DeepSpeed、Lamam Factory等工具快速进行模型微调,并通过Ollama、vLLM等推理部署框架,实现模型的快速部署。

img

L5阶段:专题集丨特训篇 【录播课】

img
四、资料领取:全套内容免费抱走,学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型,还是有基础想冲刺大厂、了解行业趋势,这份资料都能满足你!
现在只需按照提示操作,就能免费领取:

👇👇扫码免费领取全部内容👇👇

​

2026 年想抓住 AI 大模型的风口?别犹豫,这份免费资料就是你的 “起跑线”!

大模型监督微调(SFT)实战指南:从LoRA原理到生产部署全流程解析 监督微调是自然语言处理中提升预训练模型任务适应性的核心技术。其原理是在预训练模型强大的语言表征基础上,通过高质量的指令-回答配对数据,进行有监督的判别式学习,使模型的生成分布与特定任务的数据分布对齐。这项技术的核心价值在于,它能将通用的基础模型转化为在特定领域表现可靠、行为可控的专用模型,有效解决格式不匹配、领域知识匮乏和指令跟随能力不足等工程难题。在应用层面,结合LoRA等参数高效微调技术,开发者可以在有限的计算资源下,针对客服问答、代码生成、内容创作等场景,快速定制出符合业务需求的大模型应用。本文以技术 阅读详情

相关推荐

基于LoRA的文档知识注入:轻量化大模型垂直领域应用实践

大语言模型(LLM)的垂直领域应用常面临知识注入的挑战。传统全参数微调成本高昂,而检索增强生成(RAG)在深度推理场景下存在知识割裂问题。参数高效微调(PEFT)技术,特别是低秩自适应(LoRA),通过引入极少的额外参数来适配模型,在效果与成本间取得了平衡。其技术价值在于能以极低的计算和存储开销,将领域知识“固化”到模型中,实现知识的深度内化与快速响应。在应用场景上,它尤其适合法律条文、产品手册、技术规范等结构清晰、需要模型深度理解并灵活运用的文档处理。本文探讨的 `doc-to-lora` 项目,正是这一

weixin_28695161的博客 276

打造自己的大模型|02篇LoRA微调大模型的评测和导出

在之前的的文章《打造自己的大模型|01篇LLaMA-Factory微调Llama3和其占用资源分析》,我们通过训练了9.5小时,完成了Llama3-8B-Instruct的LoRA。本篇文章,我们将继续利用LLaMA-Factory,进行大模型的评测和导出。

Langchain的博客 1771

llama-factory一个数据微调用例

llama-factory一个数据微调用例

大模型文件夹中的各种文件都是些啥?

汇总并归类了在大模型文件夹中可能会出现的一些文件类型及其作用

qq_42755230的博客 6629

基于多智能体深度强化学习的空地协同通信系统轨迹设计与访问控制

所属子方向: UAV assisted communication 名词注释 coordinated:协调、协同 base stations 基站,公用移动通信基站,是移动设备接入互联网的接口设备,是指在一定的无线电覆盖区中,通过移动通信交换中心,与移动电话终端之间进行信息传递的无线电收发信电台。 UAV-BS:无人机基站 cooperative-competitive game:合作竞争博弈 throughput :吞吐量,每秒比特数 bps,bits per second Determinis

skysys的研究小屋 4969

Power Bi数据分析案例:在线零售平台销售数据分析

该数据集为,涵盖2023年1月至2024年3月,包含用户群体特征、购买行为、产品偏好以及参与度指标。用户维度:Customer_ID,Age,Gender,City产品维度:Product_Category,Unit_Price事实表:Order_ID,Quantity,Total_Amount,Discount_Amount,Rating,Delivery_Time在Power Query当中处理销售日期列,并新增年龄段、浏览页面分段列。

2301_79586168的博客 1278

从零打造自己的大模型|02篇LoRA微调大模型的评测和导出

之前的的文章,我们通过训练了9.5小时,完成了Llama3-8B-Instruct的LoRA 微调训练。本篇文章,我们将继续利用LLaMA-Factory,进行大模型的评测和导出。

huang9604的博客 772

应用软件——Altium Designer 19 Gerber/坐标文件

如何输出Gerber文件 步骤如下: 打开需要输出的PCB文件 2. 设置原点坐标 3. 打开Gerber Files 选项,File–>Fabrication Opuputs–>Gerber Files。 4. General参数设置。 用于指定输出Gerber文件中使用的单位(Units)和格式(Format)。单位可以是公制(Millimeters)和英制(Inches);格式栏中2:3,2:4,2:5代表文件中使用的不同数据精度,其中2:3表示数据含2位整数3位小数;相应的,另外两个分

染血黑兔的博客 7203

基于LLaMA-Factory和Easy Dataset的Qwen3微调实战:从数据准备到LoRA微调推理评估的全流程指南

基于LLaMA-Factory和Easy Dataset的Qwen3微调实战:从数据准备到LoRA微调推理评估的全流程指南

丨汀、的博客 5903

基于STM32L4XX、HAL库的 TMC2660C-PA 驱动程序设计

/ 默认灵敏度和电流。// 20/31最大电流。

zhusl6688的博客 384

SpringBoot 整合Jasypt 实现配置文件加密读取操作详解

SpringBoot 整合Jasypt 实现配置文件加密读取操作详解

congge 4100

周红伟:DeepSeek大模型微调和部署,基于LLaMA-Factory和Easy Dataset的Qwen3微调实战:从数据准备到LoRA微调推理评估的全流程指南

随着开源大模型如 LLaMA、Qwen 和 Baichuan 的广泛应用,其基于通用数据的训练方式在特定下游任务和垂直领域中的表现仍存在提升空间,因此衍生出针对具体场景的微调训练需求。这些训练涵盖预训练(PT)、指令微调(SFT)以及基于人工反馈的对齐技术(如 RLHF)等完整链路。然而,大模型训练对显存和算力要求较高,且需要开发者具备一定的专业知识,存在一定技术门槛。为此,应运而生,旨在整合主流的高效微调训练技术,兼容市面上多数开源模型,打造一个功能全面、适配性强的训练框架。

周红伟讲AI 846

图神经网络与大模型融合的理论综述:架构、机制与未来方向

然而,它们普遍缺乏对图结构数据的原生支持,无法直接处理边、节点之间的拓扑关系,这限制了其在关系密集型任务中的表现 [23]。2020年发布的BERT [16] 开启了自监督预训练时代,而2021年后,T5 [17]、PaLM [18]、LLaMA [19] 等模型相继推出,参数规模突破千亿级,展现出惊人的上下文学习(In-context Learning)与链式推理(Chain-of-Thought)能力 [20]。例如,将医学影像作为图节点,结合病理报告文本,实现更精准的疾病诊断 [58]。

andeyeluguo的博客 295

BGE-M3 微调实战:从模型评测到生产环境部署的完整指南

学习率设置:BGE-M3需要比BERT更小的学习率(建议2e-5到5e-6)早停策略:验证损失连续3次不下降即停止,避免过拟合基于火山引擎豆包大模型,从零搭建一个实时语音通话应用。它不是简单的问答,而是需要你亲手打通 ASR(语音识别)→ LLM(大脑思考)→ TTS(语音合成)的完整 WebSocket 链路。对于想要掌握 AI 原生应用架构的同学来说,这是个绝佳的练手项目。架构理解:掌握实时语音应用的完整技术链路(ASR→LLM→TTS)技能提升:学会申请、配置与调用火山引擎AI服务。

2600_94960078的博客 1103

n8n智能体开发:Microsoft Outlook 节点

使用 Microsoft Outlook 节点可以自动化 Microsoft Outlook 工作流程,并将其与其他应用程序集成。n8n 内置支持多种 Microsoft Outlook 功能,包括创建、更新、删除和获取文件夹、邮件及草稿等操作。

王国平的博客 570

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

基于LLaMA-Factory与Qwen2的垂直大模型LoRA微调实战指南

大语言模型(LLM)的微调(Fine-tuning)技术,是解决通用模型在垂直领域应用时出现专业术语理解偏差、回答格式不符等问题的核心方法。其原理在于,通过在预训练好的基座模型上,使用特定领域数据对少量参数进行额外训练,使模型在保留通用能力的同时,习得领域专精知识。参数高效微调(PEFT)方法,尤其是LoRA(Low-Rank Adaptation),因其能以极低的参数量(通常仅为原模型的0.1%-1%)和计算成本达到接近全参数微调的效果,成为当前技术落地的首选。这项技术的价值在于,能够快速、低成本地打造出

weixin_34341229的博客 390

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

大模型微调全自动工厂:从LoRA/QLoRA实战到工程化部署

大语言模型微调是连接通用基座能力与垂直领域需求的关键技术。其核心原理是通过在预训练模型基础上,使用特定领域数据进行有监督训练,使模型适应新任务。参数高效微调技术,尤其是LoRA及其量化版本QLoRA,通过引入可训练的低秩适配器,实现了以极低参数量(通常不足原模型1%)逼近全参数微调的效果,极大降低了计算和显存门槛,成为技术落地的价值基石。在应用场景上,从代码生成、智能问答到专业文档分析,微调都能快速定制出领域专家模型。本文以构建“微调工厂”为核心,系统阐述了如何利用QLoRA等关键技术,结合LlamaFac

weixin_34327761的博客 401

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

清华镜像站之外的新选择:一站式大模型下载、训练、推理平台来了

ms-swift平台整合模型下载、微调、量化、推理与评测全流程,通过统一接口降低大模型开发门槛。支持LoRA、QLoRA、FSDP等技术开箱即用,让个人开发者也能在消费级显卡上高效训练和部署模型,实现从实验到服务的无缝衔接。

weixin_35266799的博客 1023

【收藏必备】LLaMA-Factory:零代码微调大模型,手把手教你打造专业医疗AI助手

本文介绍LLaMA-Factory这一可视化大模型微调工具,以中文医疗问答为例,详细展示了从环境搭建、数据准备、参数调整到模型训练的全过程。通过QLoRA技术降低显存需求,使消费级GPU也能轻松微调Qwen3-0.6B-Instruct模型,无需编写复杂代码即可打造专业医疗问答助手,为AI初学者提供了入门大模型微调的实用指南。

2401_85325726的博客 803

MS-SWIFT新手指南:从零开始微调大模型,无需专业设备

本文介绍了基于星图GPU平台自动化部署ms-swift镜像的完整流程,帮助用户无需高端硬件即可实现大模型微调。通过该平台一键启动预装环境,结合MS-SWIFT框架支持LoRA等高效微调技术,可快速完成如医疗问答、AI助手等场景的模型定制与部署,显著降低AI开发门槛。

AmethystFox57的博客 569

lora-scripts支持哪些模型?Stable Diffusion与LLaMA 2微调实测报告

本文介绍了如何在星图GPU平台上自动化部署lora-scripts模型训练工具,以简化LoRA微调流程。该工具支持对Stable Diffusion等图像生成模型进行风格定制,用户无需编写复杂代码,即可利用少量数据快速训练出专属的AI绘画风格,显著降低模型定制门槛。

weixin_34581040的博客 1079

Qwen3-32B微调全流程:从数据准备到模型导出

本文详细介绍如何使用LoRA对Qwen3-32B进行高效微调,涵盖数据准备、模型训练、量化压缩到部署上线的全流程。突出其128K上下文、中文优势与低成本适配特性,助力企业打造专业级AI助手。

weixin_35755823的博客 983

零基础入门大模型微调:ms-swift保姆级教程

本文介绍了基于星图GPU平台,如何自动化部署ms-swift镜像,快速实现大模型微调。通过该平台,用户可一键配置环境,利用ms-swift对Qwen等主流模型进行LoRA微调,典型应用于训练个性化AI助手,完成从数据准备到模型发布全流程,显著降低入门门槛。

weixin_31620365的博客 677

大模型微调实战:基于Qwen2-7B与LoRA构建技术文档问答助手

大语言模型微调是自然语言处理领域的关键技术,它通过调整预训练模型的参数,使其适应特定领域的专业术语和任务格式。其核心原理在于,在保持模型原有强大语言能力的基础上,通过领域数据注入,实现从通用知识到垂直专业知识的迁移。这一技术价值显著,能够以较低成本将通用大模型转化为行业专家,有效解决通用模型在专业场景下回答不精准、格式不规范等问题。在应用场景上,微调技术广泛应用于智能客服、代码生成、医疗咨询、法律分析等垂直领域。本文以技术文档问答为具体案例,详细介绍了基于Qwen2-7B模型和LoRA高效微调方法的完整实战

weixin_30635053的博客 317
上一篇: 打造自己的大模型-01篇|LLaMA-Factory微调Llama3和其占用资源分析
下一篇: 打造自己的大模型|03篇 使用llama.cpp量化并在Mac上私有部署ChatGPT
AI_小站
博客等级 码龄3年 6255粉丝 1152原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值