LoRA大模型微调:轻量化训练新范式

9、微调技术——Lora(论文阅读) 假设原本w为100x100大小,则A大小为100xK,B为Kx100,假设W中有用信息多,我们就可以让k大一点,否则就小一点。假设k=2,则AB中各有200个参数,一共400个,远远比W参数少得多。(1)对于改动的量,可能里面包含许多有限的有用值。比如100亿的参数,可能只有50亿有用,别的都是重复或者可根据已知来推导的。为了减少训练量,我们不会更新所有参数。假设预训练模型的参数矩阵为W,我们可以将其写成W=A*B的形式。(2)有时我们希望模型某一方面的能力更突出,所以只需要训练部分参数即可。 阅读详情

在这里插入图片描述

LoRA大模型微调:轻量化训练新范式

前言

随着大模型参数规模突破千亿,全参数微调(Full Fine-tuning)的算力和显存成本让大多数企业望而却步。LoRA(Low-Rank Adaptation)通过低秩矩阵分解实现了"小成本微调大模型",成为2024-2025年最流行的微调技术。本文深入解析LoRA原理与实战。

一、为什么需要LoRA?

传统全参数微调的问题:

问题描述影响
显存巨大7B模型全参数微调需要80GB+显存只有顶级GPU才能训练
存储昂贵每个下游任务需要保存完整模型N个任务=N份模型权重
训练缓慢梯度更新所有参数收敛慢、成本高
灾难遗忘新任务覆盖原有权重影响预训练能力

LoRA的核心思想:冻结预训练权重,只训练少量新增参数。

二、LoRA核心原理

2.1 低秩分解

LoRA的核心假设:大模型微调过程中的权重更新矩阵是低秩的。

假设预训练权重为 W0∈Rd×dW_0 \in \mathbb{R}^{d \times d}W0​∈Rd×d,更新量为 ΔW\Delta WΔW,则:

W=W0+ΔWW = W_0 + \Delta WW=W0​+ΔW

LoRA将 ΔW\Delta WΔW 分解为两个小矩阵:

ΔW=B⋅A\Delta W = B \cdot AΔW=B⋅A

其中 A∈Rr×dA \in \mathbb{R}^{r \times d}A∈Rr×d,B∈Rd×rB \in \mathbb{R}^{d \times r}B∈Rd×r,r≪dr \ll dr≪d。

LoRA架构图解:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

2.2 前向传播

import torch
import torch.nn as nn

class LoRALinear(nn.Module):
    """
    LoRA实现的核心:冻结原权重,只训练A和B
    """
    def __init__(self, in_features, out_features, rank=4, alpha=1.0):
        super().__init__()
        self.rank = rank
        self.alpha = alpha
        self.scaling = alpha / rank
        
        # 冻结原始权重
        self.weight = nn.Parameter(
            torch.randn(out_features, in_features), 
            requires_grad=False
        )
        
        # LoRA新增的可训练参数
        self.lora_A = nn.Parameter(torch.randn(rank, in_features))
        self.lora_B = nn.Parameter(torch.zeros(out_features, rank))
        
        # 初始化A为随机,B为零(确保初始状态=原模型)
        nn.init.normal_(self.lora_A, std=0.02)
    
    def forward(self, x):
        # 原模型输出 + LoRA调整
        origin_output = F.linear(x, self.weight)
        lora_output = F.linear(x, self.lora_B @ self.lora_A)
        return origin_output + self.scaling * lora_output

2.3 参数规模对比

以LLaMA-7B为例:

微调方式可训练参数量显存需求训练时间
全参数微调7B~80GB基准
LoRA (r=4)8.3M~12GB~1/10
LoRA (r=16)33M~16GB~1/5
QLoRA8.3M~6GB~1/10

三、动手实现LoRA

3.1 替换注意力层

import torch
import torch.nn as nn
import torch.nn.functional as F
from peft import get_peft_model, LoraConfig, TaskType

# 定义原始模型(以LLaMA为例)
from transformers import LlamaForCausalLM, LlamaTokenizer

model = LlamaForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf")
tokenizer = LlamaTokenizer.from_pretrained("meta-llama/Llama-2-7b-hf")

# 配置LoRA
lora_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    r=8,                           # 秩,越大越接近全参数微调
    lora_alpha=16,                 # 缩放因子
    lora_dropout=0.05,             # Dropout概率
    target_modules=[                # 要替换的模块
        "q_proj", "v_proj",       # Attention的Q/V
        "k_proj", "o_proj",       # 可选,加上效果更好
        "gate_proj", "up_proj",   # FFN层
    ],
    bias="none",
)

# 转换为LoRA模型
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()
# 输出: trainable params: 8,388,608 || all params: 6,738,415,616 || trainable%: 0.124%

3.2 训练配置

from transformers import TrainingArguments, Trainer

training_args = TrainingArguments(
    output_dir="./lora_llama2",
    num_train_epochs=3,
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,    # 梯度累积
    learning_rate=1e-4,              # LoRA通常用较大lr
    warmup_ratio=0.03,
    lr_scheduler_type="cosine",
    logging_steps=10,
    save_steps=100,
    fp16=True,                       # 混合精度
    optim="paged_adamw_32bit",       # 分页AdamW,省显存
    max_grad_norm=0.3,
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    data_collator=data_collator,
)

trainer.train()

四、QLoRA:更极致的优化

QLoRA(Quantized LoRA)在LoRA基础上增加了量化,大幅降低显存:

4.1 核心技术创新

  1. 4-bit NormalFloat(NF4)量化:对权重进行4位量化
  2. 双重量化:对量化常数也进行量化
  3. 分页优化器:处理梯度检查点时的显存峰值
# QLoRA实现
from transformers import BitsAndBytesConfig
from peft import prepare_model_for_kbit_training

# 4bit量化配置
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_use_double_quant=True,     # 双重量化
    bnb_4bit_quant_type="nf4",          # NF4量化
    bnb_4bit_compute_dtype=torch.bfloat16,
)

# 加载量化模型
model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-2-7b-hf",
    quantization_config=bnb_config,
    device_map="auto",
)

# 准备kbit训练
model = prepare_model_for_kbit_training(model)

# 应用LoRA
model = get_peft_model(model, lora_config)

4.2 训练效果对比

方法7B模型显存13B模型显存性能
全参数FP16~80GB~160GB100%
LoRA FP16~12GB~24GB~98%
QLoRA 4bit~6GB~12GB~97%

五、LoRA的超参数调优

5.1 秩(Rank)的选择

# 不同秩的效果实验
ranks = [2, 4, 8, 16, 32, 64]
results = {}

for rank in ranks:
    config = LoraConfig(r=rank, lora_alpha=rank*2, ...)
    model = get_peft_model(base_model, config)
    
    # 训练和评估
    trainer = Trainer(model=model, ...)
    trainer.train()
    
    results[rank] = evaluate(model)

经验法则:

  • r=4~8:基础任务,效果一般
  • r=16~32:大多数任务,推荐
  • r=64~128:复杂任务,但显存增加明显

5.2 目标模块选择

效果对比(从高到低):
q_proj + v_proj + k_proj + o_proj + gate_proj + up_proj > down_proj
    ↑
    全包含(效果最好,但训练最慢)

5.3 学习率设置

LoRA参数是"额外新增"的,lr通常比全参数微调大:

微调方式推荐学习率
全参数微调1e-5 ~ 3e-5
LoRA1e-4 ~ 5e-4
QLoRA1e-4 ~ 3e-4

六、LoRA实战:对话模型微调

6.1 数据准备

# 构建对话格式数据
def format_instruction(sample):
    return f"""<|im_start|>user
{sample['instruction']}<|im_end|>
<|im_start|>assistant
{sample['output']}<|im_end|>"""

# 示例
samples = [
    {
        "instruction": "用Python写一个快速排序",
        "output": "def quicksort(arr):\n    if len(arr) <= 1:\n        return arr\n    ..."
    },
    # ... 更多数据
]

6.2 保存和加载

# 保存LoRA权重(只占几MB)
model.save_pretrained("./lora_weights")

# 加载
from peft import PeftModel
base_model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf")
model = PeftModel.from_pretrained(base_model, "./lora_weights")

# 推理
inputs = tokenizer("用Python写一个快速排序", return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0]))

6.3 权重合并

# 合并LoRA权重到基础模型(用于部署)
merged_model = model.merge_and_unload()
merged_model.save_pretrained("./merged_model")

七、LoRA家族扩展

7.1 AdaLoRA:自适应秩分配

# 不同层分配不同秩,节省参数
from peft import AdaLoraConfig

ada_config = AdaLoraConfig(
    r=8,
    lora_alpha=16,
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.05,
)

7.2 DoRA:权重分解

DoRA将权重分解为方向和幅度两部分:

# DoRA核心思想
output = (m + Δm) @ x = m @ x + Δm @ x
# 分解为:模长变化 + 方向变化

7.3 LoRA+ / VeRA / LoRA-FA

变体核心改进效果
LoRA+A/B用不同学习率收敛更快
VeRA共享随机投影参数更少
LoRA-FA每层独立初始化效果提升

八、总结与展望

LoRA开启了"轻量化微调"的时代,让每个开发者都能用自己的数据定制大模型。

2025年微调学习路线:

阶段1:掌握LoRA原理和基本实现
阶段2:熟练使用HuggingFace PEFT库
阶段3:理解QLoRA和量化技术
阶段4:实践多任务微调、增量学习

未来LoRA将继续向更高效、更多模态、更自动化的方向演进。


延伸阅读:

  • LoRA原论:arxiv.org/abs/2106.09685
  • QLoRA论文:arxiv.org/abs/2305.14314
  • HuggingFace PEFT库:github.com/huggingface/peft
LORA模型原理详解+分层控制使用 LoRA模型全称是:Low-Rank Adaptation of Large Language Models,可以理解为Stable-Diffusion中的一个插件,仅需要少量的数据就可以进行训练的一种模型。在生成图片时,LoRA模型会与大模型结合使用,从而实现对输出图片结果的调整。假如一张图片是由背景,服饰,脸型,躯干,姿态等等组成,我们可以训练LORA模型对这些进行微调,在大模型的基础上微调成自己想要的图片。简单理解就是大模型基础上额外增加一些训练层,在冻住大模型的基础上,训练lora模型。 阅读详情

相关推荐

微调范式解析:LoRA / Prompt Tuning / 全参数微调在 Megatron 上的实现

Megatron-LM 不只是个“预训练框架”,它也支持灵活强大的微调能力,适配各种下游任务、轻量化策略与语料格式。 > 本文将系统解析 **三种主流微调方式(全参数微调、Prompt Tuning、LoRA 轻量微调)** 在 Megatron-LM 中的实现方式,并通过实际配置讲解如何正确加载模型、调整训练脚本与输出可复用模型,为你打通预训练 → 下游落地的关键闭环

努力分享一些人工智能、计算机视觉、影像等相关的知识干货! 1921

LoRA(Low-Rank Adaptation)微调参数详解与步骤指南

LoRA微调通过低秩矩阵分解实现了参数高效优化,其核心在于秩的选择、学习率动态调整、硬件资源适配的三者协同。建议遵循“显存试探→任务适配→参数调优”的流程,结合前沿技术(如QLoRA、LoRA+)实现高效训练。实际应用中需通过AB测试验证参数组合,尤其关注梯度范数和验证集损失的动态变化。

风一样 9723

使用LoRA进行高效微调:基本原理

选择一个预训练的神经网络模型,例如ResNet、Transformer等。为了简单起见,您可以选择一个轻量级的卷积神经网络(CNN)。

数字人生 7934

【语言大模型微调】LoRA — 尖端的大模型微调技术

讨论了微调的概念,以及LoRA如何将微调视为学习参数变化,而不是迭代学习新参数。我们学习了线性独立性和秩,以及由于大多数权重矩阵的秩较低,变化矩阵可以用小因子表示。我们将所有内容整合在一起,逐步介绍了LoRA,然后使用HuggingFace PEFT模块在问答任务中实现了LoRA

qq_45752541的博客 1万+

AIGC模型微调新范式:LoRA技术详解与案例分享

随着GPT-3、LLaMA、Stable Diffusion等千亿/百亿参数大模型的普及,AIGC应用对模型微调提出了更高要求:既要保持预训练模型的通用能力,又需高效适配垂直场景。传统全参数微调需更新所有模型参数(如GPT-3有1750亿参数),计算与存储成本极高,难以在企业级场景落地。本文聚焦**LoRA(低秩适应)**这一参数高效微调技术,覆盖其核心原理、数学推导、工程实现及典型应用,帮助读者掌握大模型轻量化微调的关键方法。核心概念:对比传统微调和LoRA,解析低秩分解的核心思想;算法原理。

AI天才研究院 1464

统信UOS服务器上,达梦DM8数据库安装避坑全记录(附大小写敏感设置)

本文详细介绍了在统信UOS服务器版上部署达梦DM8数据库的全过程,包括环境准备、安装流程、数据库实例初始化及关键参数配置,特别是大小写敏感设置的注意事项。提供了从系统配置到性能优化的完整指南,帮助用户避免常见问题,确保数据库稳定运行。

weixin_30647423的博客 333

LoRA微调方法详解

大模型高效finetune方法LoRA。

3万+

Unity插件——WebView内嵌网页/浏览器插件

一、相关插件: 1、Embedded Browser 插件(文件夹名ZFBrowserUnity) 2、UniWebView插件 3、UnityAndroidWebviewToTexture插件 4、3D WebView for Android插件 二、遇到的问题: 3D WebView显示问题 项目中使用3D WebView存在的问题 三、插件使用 Embedded Browser 加载页面的使用

青岚岁叶的博客 1万+

AI大模型底层技术——LoRA微调

是一种针对大型预训练语言模型 (LLMs) 的高效微调技术。它旨在解决全参数微调所带来的计算和存储成本问题。冻结预训练模型的原始参数,并通过引入少量可训练的低秩矩阵来模拟参数更新。这样,在微调过程中,只需要优化这些低秩矩阵的参数,而不需要修改原始模型的参数,从而大大减少了需要训练的参数量。

Arthur Guo 的专栏 3172

如何优雅地进行频谱分析—— 一行代码实现绘制MATLAB频谱、功率谱图

之前的文章里讲了关于信号频谱、能量谱的相关理论和MATLAB编程实现方法: Mr.看海:信号频域分析方法的理解(频谱、能量谱、功率谱、倒频谱、小波分析) Mr.看海:频域特征值提取的MATLAB代码实现(频谱、功率谱、倒频谱) 不过对于刚刚开始进行这方面研究,或者对MATLAB不甚熟悉,抑或者不想花太多时间用在编程这件事上的同学,目前缺少一种足够便捷、高效、可靠的代码。 所以笔者想做这样一件事:编写一个函数,同学们只需要导入自己要分析的数据,并按照自己的需求设置部分选项,调用一行代码就可以实现绘制频

fengzhuqiaoqiu的博客 2万+

手把手教学:利用AutoDL与vLLM快速部署DeepSeek-R1大模型实战指南

本文详细介绍了如何利用AutoDL平台和vLLM框架快速部署DeepSeek-R1大模型的实战指南。从服务器配置、vLLM安装优化到模型部署的两种方案,再到性能调优和生产环境建议,手把手教你高效完成大模型部署。特别针对国内开发者遇到的网络问题提供了稳定解决方案,并分享了显存优化、磁盘清理等实用技巧。

weixin_42531779的博客 330

LLM轻量化微调新范式:LoRA

LoRA:大模型轻量化微调利器 LoRA是一种高效的参数微调方法,通过冻结预训练模型权重,仅训练两个低秩矩阵A和B,大幅降低计算资源需求。相比全参数微调,LoRA可减少99%以上的可训练参数,同时保持相近的效果。其核心思想是利用矩阵低秩分解,将大矩阵分解为两个小矩阵进行更新。LoRA具有参数少、部署快、模块化和稳定性好等优势,已成为大模型微调的主流技术,广泛用于多任务适配和垂直领域优化。HuggingFace等平台已提供现成的LoRA实现,开发者可轻松应用于各类微调场景。

weixin_48222697的博客 811

JMeter 中实现 100 个用户在 3 秒内并发登录

通过以上配置,你可以在 JMeter 中实现 100 个用户在 3 秒内并发登录

南开大学 | 10 年 + 软件研发与测试实战 | 现任企业质控负责人 | 专注端到端交付质量 1684

大模型微调Fine-Tuning(一)微调范式全景:全量微调、指令微调、轻量化微调

大模型近年来在自然语言处理领域取得了显著突破。从GPT-3到LLaMA,再到国产开源的DeepSeek,这些模型凭借海量参数和通用训练数据,展现了强大的语言生成与理解能力;然而,这类“通用大模型”虽在海量数据上预训练,具备强泛化能力,却难以在特定业务场景(如金融风控、医疗问诊、法律咨询等)中发挥最优表现,这主要是因为通用训练无法完全捕捉特定领域的知识分布和任务需求。微调(Fine-Tuning)成为连接通用能力与场景落地的核心桥梁,其本质是通过领域数据驱动参数更新,在有限算力下实现模型“专精化”;

老皮的博客 938

Test软件:Keysight二次开发_(3).安装与配置开发环境

在开始进行Keysight软件的二次开发之前,首先需要确保您的开发环境已经正确安装和配置。本节将详细介绍如何安装和配置必要的开发工具和依赖项,以便您能够顺利进行开发工作。

2401_87715305的博客 1414

纯C语言实现的Luhn算法(信用卡校验位):详解与示例

在本文中,我们详细介绍了如何使用纯C语言实现Luhn算法,并提供了一些示例代码。用于检查任意长度的数字字符串的有效性,用于计算给定数字字符串的校验位字符。我们还提供了一个简单的“main”C程序,用于在命令行上接受一个或多个数字字符串,并计算它们的校验位字符。通过阅读本文和理解示例代码,我们希望读者能够更好地理解Luhn算法的工作原理,并能够在自己的项目中应用这种算法。

qq_38334677的博客 1222

大模型微调全攻略:从全量到轻量化

本文系统介绍大模型微调技术演进,从全量微调到轻量化方法(LoRA、Prefix Tuning等)。分析各策略原理、优缺点及适用场景,提供分布式训练、混合精度等工程实践,并通过案例展示LoRA在降低成本同时保持性能的效果,为开发者提供完整技术选型与系统设计参考。

2301_82275412的博客 1019

SAP_MM模块非限制库存转冻结库存

项目非限制 → 冻结事务码移动类型343影响库存不可用,不参与MRP常见用途质量问题封存、盘点冻结、待退货品通过本文,我们了解了 SAP 的[SAP_MM模块非限制库存转冻结库存]的基本概念和应用方法。希望这些信息能帮助您在实际工作中更好地使用 SAP 系统,提高工作效率和管理水平。更多SAP文章请点击更多SAP文章更新,大家一起学习进步!!!文章中如有错误。敬请指正!搜索公众号:SAP资料文库微信号:SPRO_PP时间:2025-10-14。

我小时候很黑的博客 592

手把手教你玩转 LoRA 微调:从原理到实战,一站式通关教程

本次教程选用阿里云通义千问的 Qwen2.5-3B-Instruct,这是目前3B 量级表现最优异的开源指令微调模型量级适中:30 亿参数量,兼顾「能力」和「轻量化」,低配显卡 / 免费算力均可轻松训练推理;中文友好:原生针对中文优化,中文理解、生成、指令遵循能力远超同量级 LLaMA2、Phi 等模型;指令对齐优秀:Instruct 版本是官方已做过基础 SFT 的版本,我们在此基础上做 LoRA 微调,效果事半功倍;开源免费:商用友好,无版权限制,个人 / 企业均可免费使用;

2403_88078374的博客 3411

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

LoRA:大模型轻量化微调技术,从入门到精通

LoRA(Low-Rank Adaptation)是一种大模型参数高效微调方法,通过将权重变化分解为低秩矩阵(W = W₀ + BA),仅训练少量参数(通常不到1%),即可实现与全参数微调相当的性能。这种方法显著降低了计算和存储成本,使大模型能在资源有限情况下部署多任务版本,已成为AI工程主流轻量化适配技术。

Python_cocola的博客 750

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

大模型低显存微调新范式:状态微调与LoRA并行控制实战

大模型微调是让预训练模型适应特定任务的关键技术。传统方法如LoRA通过低秩适配器修改模型权重,虽降低了参数量,但在训练稳定性和实时控制上仍有局限。其原理是在冻结主干网络的同时,训练少量注入参数,实现高效的知识迁移。随着模型规模增长,显存占用和训练可控性成为工程实践中的核心挑战。状态微调作为一种新兴技术,将干预点从静态权重转向模型推理过程中的动态状态,如注意力层的键值缓存(KV Cache),实现了更精细、实时的过程控制。结合LoRA进行并行控制,既能利用LoRA进行长期能力迁移,又能通过状态微调实现短期过程

weixin_30896511的博客 471

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

大模型微调(Fine-Tuning)全景解析:从指令微调到高效量化方法

大模型微调(Fine-Tuning)全景解析:从指令微调到高效量化方法

youmaob的博客 1260

生信大模型微调实战指南:从序列预训练到疾病风险预测(含 LoRA 轻量化方案)

随着 AI 在生命科学领域的渗透,生信大模型已从 “通用预训练” 阶段迈入 “场景化微调” 新阶段。从 DNA 序列的变异检测到蛋白质结构的功能预测,从单细胞数据的细胞分型到临床样本的疾病风险评估,微调技术成为连接通用大模型与具体生信任务的核心桥梁。然而,生信数据的特殊性(高维度、强噪声、样本稀缺)与大模型的高算力需求,给实际应用带来双重挑战:一方面,全参数微调需消耗数百 GB 显存,普通实验室难以承担;另一方面,生信任务的 “小样本特性”(如罕见病数据仅数十例)易导致模型过拟合。

m0_60789033的博客 1045

大模型微调新范式:LoRA与QLoRA技术详解,轻松掌握90%成本优化方案

本文详解大语言模型轻量化微调技术LoRA的核心原理:通过矩阵分解将大权重矩阵拆分为两个小矩阵,大幅减少可训练参数量。LoRA冻结原始权重仅优化低秩矩阵,QLoRA引入量化技术进一步降低内存占用。这种技术不仅减少计算资源需求,还实现了适配器概念的灵活应用,为不同下游任务提供高效解决方案,是当前大模型微调领域的重要技术突破。

2301_82275412的博客 762

JiyuTrainer支持LoRA微调:适配大模型token高效训练

通过集成LoRA技术和PyTorch-CUDA-v2.8镜像,JiyuTrainer实现了在单张消费级显卡上对7B级别大模型的高效token训练。利用低秩适配,仅需0.1%~1%的可训练参数即可逼近全量微调效果,显著降低显存与算力需求,适合多任务快速切换与部署。

weixin_29496633的博客 772

高效低耗:消费级显卡RTX 3090运行lora-scripts完成大模型LoRA微调实测

利用消费级显卡RTX 3090结合LoRA与lora-scripts工具,可在几小时内用少量数据完成大模型个性化微调。该方案大幅降低算力门槛,无需专业背景即可训练专属AI风格模型,实现高效、低成本的本地化AI定制。

weixin_42230607的博客 1091
上一篇: FlashAttention:大模型推理优化的核心技术
下一篇: RAG技术详解:从检索增强生成到知识库问答实战
MATLAB代码顾问
博客等级 码龄20年 4万+粉丝 441原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MATLAB代码顾问

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值