大模型笔记10：LoRA微调

最新推荐文章于 2025-12-02 15:55:42 发布
原创 最新推荐文章于 2025-12-02 15:55:42 发布 · 254 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#笔记

 LoRA微调的原理

矩阵的秩

矩阵的秩代表一个矩阵中所含信息的大小。

  • 行秩：矩阵中互相不重复、不依赖（即线性无关）的行的最大数目。
  • 列秩：矩阵中互相不重复、不依赖的列的最大数目。

事实上，行秩和列秩总是相等的，因此我们通常直接称之为“矩阵的秩”。

 

 

 

Transformer中微调哪些参数：

LoRA的改进版本

 

 

 

errorwarn
关注
【LLM】金融场景的大模型Lora微调实战
发现问题，并解决问题，批判性思维
07-08 9870
金融行业需要垂直领域LLM，因为存在金融安全和数据大多数存储在本地，在风控、精度、实时性有要求 （1）500亿参数的BloombergGPT BloombergGPT金融大模型也是用transformer架构，用decoder路线， 构建目前规模最大的金融数据集FINPILE，对通用文本+金融知识的混合训练。 用了512块40GB的A100 GPU，训练中备份了4个模型，每个模型分了128块GPU。 （2）度小满5月的【源轩大模型】 使用hybrid-tuning方式，首个千亿参数金融大模型 在通用能力评测
大模型微调实战：LORA微调
aolan123的博客
06-16 1385
是一种高效的参数高效微调方法，其核心思想是通过在预训练模型的权重矩阵中引入低秩适配矩阵（低秩分解矩阵 A 和 B），仅对这部分新增参数进行训练，从而大幅减少计算和显存开销。与传统全参数微调相比，LORA 通过冻结原始模型参数，仅更新适配层参数，实现了轻量化训练。在涉及到矩阵相乘的模块，在原始的PLM旁边增加一个新的通路，通过前后两个矩阵A,B相乘，第一个矩阵A负责降维，第二个矩阵B负责升维，中间层维度为r，从而来模拟所谓的本征秩（intrinsic rank）。
大模型微调实战：LORA轻量级微调DeepSeek
dmx123789的博客
05-26 1916
LORA（Low-Rank Adaptation） 是一种高效的参数高效微调方法，其核心思想是通过在预训练模型的权重矩阵中引入低秩适配矩阵（低秩分解矩阵 A 和 B），仅对这部分新增参数进行训练，从而大幅减少计算和显存开销。与传统全参数微调相比，LORA 通过冻结原始模型参数，仅更新适配层参数，实现了轻量化训练。
多模态大模型 LLaVA1.5 LoRA微调笔记
未来知行的博客
12-12 6986
最近翻阅了LLaVA1.5的论文《Improved Baselines with Visual Instruction Tuning》[1]，感叹多模态模型发展迅猛之余，也感觉非常的有意思，便想着自己尝试微调。论文作者贴心地在代码仓库提供了微调的脚本，但是由于微调过程会踩到很多坑（报错调了N个小时），因此记录下微调的笔记供需要的人参考。
大模型LoRA微调笔记
hzp666的博客
09-28 287
本文简要介绍了微调过程的关键环节。研究使用魔搭社区提供的免费GPU资源进行模型训练，充分利用了该平台的计算资源。同时，详细说明了训练数据的来源和应用方式，展现了完整的数据使用流程。这些技术要素共同构成了模型微调的基础条件，为后续优化工作提供了必要支持。通过合理配置这些资源，确保了微调过程的顺利进行。
大模型学习笔记day2 LoRA微调
a_Loki的博客
05-26 513
LoRA方法通过在预训练模型旁添加低秩矩阵（A和B）实现参数高效微调。A初始化为正态分布，B初始化为零矩阵，确保初始阶段不干扰原模型表现。
论文笔记8：LoRA详解
Tiziano68的博客
06-29 2003
低秩自适应方法，它冻结预训练模型的权重，并将可训练的秩分解矩阵注入 Transformer 架构的每一层，从而大大减少了下游任务的可训练参数数量一、简介LoRA是一种机器学习技术，它通过仅调整模型参数中一小部分低秩子集来修改预训练模型，使其更适合特定（通常较小）的数据集。这种方法非常重要，因为它允许在特定任务数据上对大型模型进行高效微调，从而显著降低微调所需的计算成本和时间自然语言处理中的许多应用依赖于将一个大规模预训练语言模型适配到多个下游应用。
大模型微调（5）：PEFT 微调 Qwen 大模型
2301_82275412的博客
06-16 1303
在上面罗列的各种主流微调方法，除了全量微调之外，其余都可以称之为 PEFT，即 Parameter Efficient Fine-Tuning，参数高效微调，它是一种在大语言模型微调过程中，通过减少需要更新的参数数量来降低计算成本和存储需求的技术。毕竟大语言模型的主要问题是参数数量过大，做全量微调实在对资源的消耗太大，已经不是一般研究人员或者普通企业所能做的了。而 PEFT 则是当前大模型领域最为高效实用的微调技术之一！
大模型笔记：LoRA
qq_40206371的博客
04-10 578
添加了Adapter后，模型整体的层数变深，会增加训练速度和推理速度。类似于soft prompt。
大模型学习笔记九：模型微调
谢白羽
05-15 656
一、什么时候需要Fine-Tuning 二、用Hugging Face根据电影评论输出来对电影进行情感分类 1）安装依赖 2）操作流程 3）名字解释 4）代码导入库和加载模型、加载数据库、加载tokenlizer 5）其他相关公共变量赋值（随机种子、标签集评价、标签转token_Id） 6）处理数据集：转成模型接受的输入格式 7）定义数据规整器：训练时自动将数据拆分成Batch 8）定义训练超参：比如学习率 9）定义训练器 10）# 开始训练 11）加载训练后的模型进行推理（参考） 三、训练集和验证集的关系
Python LoRA 大模型轻量级微调笔记.md
08-17
本文首先介绍了LoRA大模型轻量级微调的思想,然后给出了使用Python中的transformers库实现文本分类、语义理解等自然语言处理任务的示例代码,最后讨论了LoRA大模型轻量级微调在NLP领域的典型应用,如文本分类、语义理解...
大模型微调部署实战及类GPT工具的高效使用
热门推荐
herosunly的博客
07-24 22万+
本文主要介绍了专栏《大模型微调部署实战及类GPT工具的高效使用》的核心内容，希望对使用大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 专栏亮点 3. 你的收获 4. 详细目录
C语言学习笔记(1)——输入输出，数据类型
DK3314219995的博客
11-30 962
CPU的位数主要决定了其通用寄存器的宽度，这直接影响CPU单次操作能处理的数据量和理论上能直接寻址的内存空间范围，但实际实现可能受地址总线宽度、操作系统和硬件架构的影响。
996PC端 传奇游戏架设笔记
酷酷的鱼 - 网络编程,服务器安全专栏
11-30 250
2、有些版本有自己增加的NPC或者武器、所以就会有版本补丁，需要在JpkList.txt增加补丁所在地址和解析密码、并且把补丁文件复制到热血传奇客户端安装目录下。多个版本的时候 在MirServer采用多个不同名称的文件夹即可，游戏区端口要选择不一样的。3、然后打开登录生成器、确保版本资源目录是对的，然后资源读取规则，需要设置成你热血传奇安装目录。4、确保当前登录生成器里面的授权密钥跟GameServer的登录网关->安全过滤设置->登录器识别码密钥写的是一样的。1、服务器需要安装VC++扩展包。
Compose笔记(五十七)--snapshotFlow
ljt2724960661的博客
11-29 670
这一节主要了解一下snapshotFlow，在Compose开发中，snapshotFlow是连接Compose状态与协程流的核心...
TensorRT笔记（5）：研究timingCache
最新发布
ouliten的博客
12-02 500
在里出现了大量的timingCache，但是当时没有取研究这是干啥的，本文就来解析一下。样例都基于上面的文章。
C++基础：Stanford CS106L学习笔记 1 类型与结构
WM2101的博客
12-02 257
本文介绍了C++的类型系统和结构体特性。在类型系统方面，C++采用静态类型，变量类型一旦确定不可更改，与Python的动态类型形成对比。静态类型能提高效率并减少运行时错误。文章还介绍了using类型别名、auto类型推断以及函数重载等现代类型特性。在结构体方面，展示了如何定义和使用结构体，以及使用std::pair模板简化多值返回的实现方式。通过对比Python和C++的代码示例，突出了C++在类型安全性和编译时检查方面的优势。
嵌入式笔记（个人总结）
古泽汉书的博客
11-29 205
本文整理了嵌入式学习相关的系列笔记，包括STM32开发总结、HAL库使用指南、嵌入式开发技巧、电路知识要点、C语言速成及常见错误，以及嵌入式数学基础。内容涵盖从硬件到软件的嵌入式开发核心知识，适合开发者系统学习和快速查阅。笔记将持续更新完善，为嵌入式学习者提供实用参考。
12_Spring AI 干货笔记之对话模型 Amazon Bedrock Converse API
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
12-02 859
本文全面介绍Spring AI对Amazon Bedrock Converse API的集成。该API为多种AI模型提供了统一的对话接口，支持工具调用、多模态输入（图像、视频、文档）及流式响应。文章详细阐述了自动配置步骤、运行时选项、特别是创新的提示词缓存功能及其多种策略（如SYSTEM_ONLY、CONVERSATION_HISTORY），可显著优化成本与性能。同时提供了从基础连接到高级应用（如法律分析、代码审查）的完整代码示例与实践指南。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值