初步探讨大模型微调：策略、方法与 LoRA 框架

大模型微调策略、方法与 LoRA 框架解析
最新推荐文章于 2025-11-24 18:29:32 发布
原创 最新推荐文章于 2025-11-24 18:29:32 发布 · 556 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #DeepSeek #大模型

在当今的人工智能领域，如何通过对大模型的微调，使其更好地服务于多样化的任务需求？

一、为何要对大模型进行微调

  1. 成本考量：大模型拥有海量参数，训练成本极高。若每家公司都从头开始训练专属大模型，性价比极低。
  2. 应对 Prompt Engineering 的局限：Prompt Engineering
最低0.47元/天 解锁文章
大模型finetune-基于lora-deepspeed+多GPU实现的ChatGLM微调实现-附项目源码-优质项目实战.zip
05-25
首先，我们要了解什么是大模型微调。大模型，如ChatGLM，通常具有数亿甚至数百亿的参数，它们在预训练阶段已经通过大规模数据进行了训练，具备了较强的通用语言理解能力。微调是将这些预训练模型应用于特定任务的...
本地如何通过Ollama部署llama3、phi3等本地大模型？
lvaolan8888的博客
06-06 2277
来运行阿里的通译千问大模型，生成内容质量还可以而且速度也很快，（题外：生成的文章如果收录不是很好，最好不要用markdown格式和html格式，直接用文本格式）包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
通俗解读大模型微调(Fine Tuning)
weixin_33225892的博客
09-04 217
前言我们对技术的理解，要比技术本身更加重要。大模型会成为AI时代的一项基础设施。作为像水、电一样的基础设施，预训练大模型这样的艰巨任务，只会有少数技术实力强、财力雄厚的公司去做。绝大多数人，是水、电的应用者。对这部分人来说，掌握如何用好大模型的技术，更加重要。用好大模型的第一个层次，是掌握提示词工程(Prompt Engi...
【建议收藏】一文搞懂大模型微调：原理、方法与实践指南
m0_48891301的博客
09-04 962
【建议收藏】一文搞懂大模型微调：原理、方法与实践指南
为什么说大模型微调是每个人都必备的核心技能？
2401_85325726的博客
11-06 1164
这个原理和 RLHF 类似，但是反馈的来源是 AI。，它的出发点Prompt-tuning 给每个任务定义了自己的 Prompt，拼接到数据上作为输入，同时 freeze 预训练模型进行训练，在没有加额外层的情况下，可以看到随着模型体积增大效果越来越好，最终追上了 LLM 大模型精调的效果。大模型参数很多，但并不是所有的参数都是发挥同样作用的，大模型中一部分参数，是非常重要的，是影响大模型生成结果的关键参数，这部分关键参数就是上面提到的低维的本质模型。而过度参数化的大模型背后，都有一个低维的本质模型。
大模型微调(Fine Tuning)通俗讲解
程序员鑫港的博客
02-13 1373
开始之前，为了方便大家理解，我们先对大模型做一个直观的抽象。输入序列 X = [x1, x2, …, xm]， 输出序列Y = [y1, y2, …, yn]，X和Y之间的关系是：Y = WX。我们所说的“大模型”这个词：“大”是指用于训练模型的参数非常多，多达千亿、万亿；而“模型”指的就是上述公式中的矩阵W。在这里，矩阵W就是通过机器学习，得出的用来将X序列，转换成Y序列的权重参数组成的矩阵。这里为了方便理解，做了大量的简化。在实际的模型中，会有多个用于不同目的的权重参数矩阵，也还有一些其它参数。
ChatGLM3-6B实践
m0_46671240的博客
03-25 774
Freeze方法指的是参数冻结，对原始模型的大部分参数进行冻结，仅训练少部分的参数，这样就可以大大减少显存的占用，从而完成对大模型的微调。特别是在Bert模型出来的时候，比较会常用到Freeze的这样一个微调方法，比如Bert有12层，我们把前10层冻结了，只训练后两层。这是一种比较简单微调方法，由于冻结的参数是大部分，微调的参数是少部分，因此在代码中只需要设置需要微调的层的参数即可，把不需要参加训练的层数 requires_grad 设置为False，不让其进行更新，从而达到冻结的这样一个效果。
自然语言处理｜LoRA：让大模型微调更简单更高效
紫雾凌寒
03-21 1584
本文论述了LoRA 技术凭借低秩矩阵分解方法，为大模型微调带来变革，有效解决传统全量参数微调高成本、高资源消耗和易过拟合问题，在多领域展现卓越性能与应用潜力。它减少可训练参数数量，降低计算复杂度和内存需求，提升训练效率。​
优化大模型微调：MoLA层级专家分配策略
人工智能讲师分享前沿技术
08-30 1918
人工智能咨询培训老师叶梓 转载标明出处大模型（LLMs）的微调过程中，计算资源的需求巨大，这促使研究者们探索参数高效微调（PEFT）技术。低秩适应（LoRA）和专家混合模型（MoE）的结合显示出了提升性能的潜力，但大多数现有方法只是简单地在MoE框架下用LoRA适配器替换专家，并且每一层都分配相同数量的专家。这种方法可能会导致一些问题，比如由于表示崩溃或学习到的路由策略过拟合，导致专家之间的冗余。
【自然语言处理】大模型微调技术综述：参数效率微调方法对比与应用场景分析
05-25
适合人群：对大模型微调技术感兴趣的AI研究人员、开发者和工程师，尤其是那些希望了解如何在资源受限环境下有效利用大模型的人群。 使用场景及目标：①在资源受限环境下进行大模型微调，如边缘设备或低算力环境；②...
RAG面试内容整理-17. 大模型微调与 RAG 整合策略（LoRA、QLoRA、PEFT）
不务正业的猿
08-07 165
本文探讨了RAG系统中生成模型的微调技术及其优化方法。介绍了LoRA和QLoRA两种高效微调方法：LoRA通过低秩分解减少微调参数量，保持预训练模型权重不变；QLoRA结合量化技术进一步降低内存需求，使65B大模型微调成为可能。分析了RAG系统中微调生成模型的必要性：提升领域适应性、增强检索与生成协同、减少幻觉问题、改善多轮对话理解。通过医疗问答、财务报告和多轮客服对话等实例，说明微调能显著提高生成质量、准确性和连贯性。这些技术使RAG系统能在有限资源下实现更专业的领域适配和更精准的生成输出。
大模型微调方法和技术路线
contributed_l的博客
03-23 1609
大模型中有一部分参数，是非常重要的，是影响大模型生成结果的关键参数，这部分关键参数就是上面提到的低维的本质模型）。QLoRA：Efficient Finetuning of Quantized Large Language Models，比 LoRA 多了一步量化（是一种在保证模型效果基本不降低的前提下，通过降低参数的精度，来减少模型对于计算资源的需求的方法），量化的核心目标是降低训练成本，特别是降后期的推理成本。只对有效部分的参数进行训练，是目前比较主流的微调方案，其中比较流行的有。
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 213
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 337
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
最新发布
weisheng00的博客
11-24 567
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 219
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1797
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 486
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
大模型微调实战指南：LoRA与Qwen2.5应用详解
本文《大模型微调全面指南[可运行源码]》系统性地介绍了从理论到实践的大模型微调全流程，涵盖了基础概念、环境搭建、主流微调方法、实战案例以及问题排查等多个维度，为开发者提供了一套完整可落地的技术路径。...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值