人工智能_大模型046_模型微调006_轻量化微调原理_Prompt-Tuning原理_P-Tunning原理_Prefix-Tuning原理_LoRA微调原理_低秩矩阵---人工智能工作笔记0181

最新推荐文章于 2025-04-18 17:24:51 发布
最新推荐文章于 2025-04-18 17:24:51 发布
阅读量189 收藏
点赞数 5
CC 4.0 BY-SA版权
分类专栏： 深度/机器学习&爬虫 文章标签： LoRA微调 轻量化微调 P-Tuning prefix-tuning prompt-tuning 模型微调
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.youkuaiyun.com/lidew521/article/details/138345836
本文介绍了轻量化微调的概念，包括Prompt Tuning、P-Tuning和Prefix-Tuning的原理。重点讲解了LoRA微调方法，它通过在Transformer模型的参数矩阵上叠加低秩矩阵来优化模型，尤其对Q和V矩阵进行叠加训练效果显著。此外，还探讨了低秩矩阵在数据压缩和处理中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

然后我们再来看一下,轻量化微调,这个过程,我们微调fine-tunning的过程很相似,

这里再说一遍:

1.首先加载我们的训练数据集,然后对数据进行处理,主要是对数据按特定的个数,拼接输入输出,训练数据主要包含,问题和答案,

2.然后把我们拼接好的训练数据,的文本转换成token ids, 注意 后面的数据规整器就是用来 对数据进行分批处理的,把数据按照batchsize进行划分

3.然后,再去加载tokenizer,对token进行序列化处理,然后,再去

4.加载模型  右边的部分就是训练器训练的过程

5.然后这里多了一块,就是注入参数,注意这里加载模型后,模型原来的参数都是冻结的,在训练过程中是不动的.

6.然后再定义和训练超参数.

然后我们再来看一下这个Prompt Tuning,这个轻量化微调的原理,可以看到

其实就是在他就是在X部分,注意这个X不分,其实就是我们对大模型提问的语句,生成的词向量矩阵,然后,现在我们做的就是

在这个我们的提问句对应的词向量矩阵X的前面,添加了几个P1 P2

了解本专栏 订阅专栏 解锁全文 超级会员免费看
人工智能_大模型006_CPU微调ChatGLM大模型_Prefix-Tuning微调原理_Prompt-Tuning/P-tuning微调原理_微调_001---人工智能工作笔记0141
添柴程序猿的专栏
02-23 688
上面是prompt-tuning 和p-tuning的区别,可以看到其实,一个就是仅仅添加训练后的向量提示词,一个就是,直接把prompt-tuning的提示词再进行使用BiLSTM和MLP进行编码,编码以后把编码后的提示词,直接融入到模型本身的参数权重中去,这样消耗算力就多.如果是一组固定的,可读的文字,或者自然语言,那么他对,结果的影响是非常大的,那么这个时候,一般用第二种 方法,softprompt,叫做连续prompt,这个就是向量了,就是向量空间优化出来的提示.
LLM微调 | Prefix-Tuning, Prompt-Tuning, P-tuning, P-tuning-v2
weixin_43646592的博客
07-31 2544
LLM微调 | Prefix-Tuning, Prompt-Tuning, P-tuning, P-tuning-v2
【大模型开发】开源大模型微调： P-Tuning（Prompt-Tuning）技术
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
03-12 1631
P-Tuning（Prompt-Tuning）为大模型的微调提供了一种非常高效灵活的思路——只需在输入序列或中间层插入少量可学习向量并进行训练，即可让大模型针对特定任务实现较好的效果，而不需要动辄数十亿参数的全量微调。在上面给出的示例中，我们通过 HuggingFace Transformers 展示了一个简化版本的 P-Tuning，对于有更高要求的场景可以在此基础上做许多改进和扩展，如 Deep P-Tuning、多层插入 Prompt Embeddings、结合 LoRA / Adapter、调参等。
动手学大模型--Prompt tuning、Prefix tuning、P tuning微调
m0_53169839的博客
04-18 1571
介绍关于提示学习的三种大模型微调方法
LLM高效参数微调方法：从Prefix Tuning、Prompt Tuning、P-Tuning V1/V2到LoRA、QLoRA(含对模型量化的解释)
热门推荐
结构之法 算法之道
08-05 2万+
常规部分的正向传播由transformers所定义，而LoRA部分的正向传播则由LinearLayer_LoRA(nn.Module)的forward()所定义，即“LoRA层的两条分支结果进行加和”，如下图所示『一般用随机高斯分布初始化，当然实际代码实现时，比如微软的deepspeed chat在用到LoRA时，一开始通过0矩阵占位，然后调用搭配ReLU激活函数的kaiming均匀分布初始化。，相当于在训练期间，较小的权重矩阵(下图中的A和B)是分开的，但一旦训练完成，权重可以合并到一个新权重矩阵中。
大模型高效参数微调技术（Prompt-Tuning、Prefix Tuning、P-Tuning、LoRA...）
酒酿小圆子呀～
07-13 2227
在整个NLP领域，整个发展历程是朝着精度更高、少监督，甚至无监督的方向发展的。而 Prompt-Tuning是目前学术界向这个方向进军最新也是最火的研究成果。
大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）
shanguicsdn000的博客
06-29 1441
（1） Fine-Tuning（标准微调）优点：简单易用：直接在预训练模型上进行微调。适应性强：可以针对特定任务调整整个模型的参数。效果显著：通常能显著提高模型在特定任务上的表现。缺点：计算成本高：需要调整模型的大量参数。数据需求较高：为了有效微调，通常需要较多的标注数据。适用场景：当有足够的标注数据和计算资源时，适用于大多数NLP任务。优点：参数高效：只修改或优化模型的一小部分参数。节省计算资源：比完全微调需要的资源少。
大模型微调---P-tuning微调
niulinbiao的博客
12-19 1669
P-Tuning和是两个相似但有细微区别的概念，它们都属于在预训练语言模型上使用提示（prompt）来提升模型在特定任务上的表现的技术。P-TuningP-Tuning是一种特定的提示微调方法，最早由提出的。它特别强调通过优化可学习的提示向量，来引导预训练模型在特定任务上的表现。P-Tuning的关键思想是在输入中插入一些新的、可训练的提示嵌入（embedding），并通过这些嵌入调整模型的输出，而不需要微调模型的全部权重。是一个更广泛的术语，指的是任何通过调整输入提示来优化预训练模型的方法。
大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）_adapter微调 p tuning
2401_85328934的博客
07-08 1792
（1） Fine-Tuning（标准微调）优点：简单易用：直接在预训练模型上进行微调。适应性强：可以针对特定任务调整整个模型的参数。效果显著：通常能显著提高模型在特定任务上的表现。缺点：计算成本高：需要调整模型的大量参数。数据需求较高：为了有效微调，通常需要较多的标注数据。适用场景：当有足够的标注数据和计算资源时，适用于大多数NLP任务。优点：参数高效：只修改或优化模型的一小部分参数。节省计算资源：比完全微调需要的资源少。
【电梯门禁系统】梯控硬件安装与接线要点：权限逻辑及应用场景详解
07-23
内容概要：文章详细介绍了电梯门禁（梯控）系统的硬件安装与接线要点。首先强调了梯控板与楼层按键对接的重要性，包括遵循一一对应原则以避免错层、越层问题，允许空层存在以适应实际需求。接着阐述了不同接线方式（COM、NO、NC端口的不同组合）对用户权限的影响，如单层权限用户刷卡直达指定楼层，多层权限用户在特定接线方式下的操作限制。硬件安装方面，强调了无源干触点设计原则以确保电气隔离，防止系统间干扰，以及读卡器接入时的规范要求。文章还介绍了梯控系统的技术原理，如身份验证机制（二维码/IC卡/人脸识别）、消防联动功能（紧急情况下释放所有楼层权限），并指出该系统适用于小区、写字楼等场景，支持机器人乘梯SDK扩展。最后，根据不同场景需求提出了适用的接线方式选择，如严格管控场景下选择4.3接线以实现精准权限控制，限制多层用户手动选层场景下选择4.1接线并配合软件权限设置。; 适合人群：从事电梯安装维护的技术人员、楼宇自动化工程师及相关领域的管理人员。; 使用场景及目标：①指导技术人员正确安装和接线梯控系统，确保系统安全稳定运行；②帮助管理人员了解不同接线方式对用户权限的影响，以便根据实际需求选择合适的配置方案；③提升楼宇安全管理和服务质量，特别是在小区、写字楼等场所的应用。; 其他说明：梯控系统的正确安装和接线不仅关系到系统的正常运作，更直接影响到用户的安全和使用体验。因此，在实际操作中务必严格按照规范执行，同时关注最新的技术发展和应用场景变化，以确保系统始终处于最佳状态。
Qt串口通信实时曲线绘制与数据管理系统的源代码实现及二次开发指南
07-23
内容概要：本文档详细介绍了一个基于Qt的串口通信实时曲线绘制与数据管理系统。该系统不仅能够通过Qt的QChart组件实现双窗口内的实时曲线绘制，还能对通信数据进行Modbus CRC16校验，确保数据传输的准确性。此外，它支持配置自动保存、实时数据记录以及灵活的文件命名方式，如按日期、序号或自定义名称保存。系统还提供了详细的源代码、注释、设计文档和使用说明，方便开发者进行二次开发。文中展示了关键代码片段，如配置管理、CRC校验、图表初始化、数据保存和大小端转换等，帮助开发者更好地理解和优化代码。 适合人群：具有一定Qt开发经验的研发人员，尤其是从事嵌入式系统、工业自动化等领域工作的工程师。 使用场景及目标：适用于需要进行串口通信并实时展示数据的应用场景，如工业监控、实验室设备监测等。主要目标是提高数据传输的可靠性、增强用户体验以及简化二次开发过程。 其他说明：该系统已在Qt5.10.1环境下成功运行，提供了完整的开发环境配置指导。同时，文中提到的一些高级特性，如OpenGL加速、信号量控制等，也为进一步优化性能提供了可能。
欧姆龙PLC密码读取软件（密码直读&CP1E解密版）
07-23
内容概要：本文介绍了欧姆龙PLC密码读取与解密软件的功能和使用方法。文中详细描述了两种主要软件——密码直读软件和CP1E解密软件，它们能够帮助用户读取和去除欧姆龙PLC设备中的密码。此外，还提供了详细的硬件准备步骤，如使用原厂标配的CX-Programmer编程线进行连接，并附有Python脚本用于检测固件版本以及C#代码段用于查找密码标记。对于较新的1.3版固件，提出了利用脉冲信号强制进入调试模式的方法。同时，强调了解密过程中保持功能块完整性的注意事项，并提到了视频教程的存在。 适合人群：从事工业自动化领域的技术人员，特别是那些需要对欧姆龙PLC设备进行维护或二次开发的技术人员。 使用场景及目标：适用于需要恢复被遗忘或丢失的PLC密码的情况，确保在不解锁的情况下不会损坏原有程序和设置。目标是在不影响设备正常工作的前提下获取访问权限。 其他说明：文中提到的部分高级技巧如内存断点技术和特征码扫描法，可以显著提高解密效率并减少误操作风险。同时提醒使用者关注解密前后功能块的一致性和完整性检查。
基于Python的二手房大数据平台大数据应用作业源代码数据库db
07-23
基于Python实现的二手房大数据平台，包含大数据应用作业、源代码和数据库db。该项目源码为个人毕设，代码经过测试运行成功，答辩评审平均分达96分。适合计算机相关专业学生、教师或企业员工学习，也可作为毕设、课设、作业或项目初期演示。代码可在此基础上进行修改以实现其他功能。下载后请先查看README.md文件，仅供学习参考，切勿用于商业用途。资源来源于网络分享，仅用于学习交流使用，请勿用于商业，如有侵权请联系我删除！
FPGA实现BPSK信号上下变频器：基于Xilinx Spartan6与Verilog的详细解析及应用
07-23
内容概要：本文详细介绍了利用FPGA实现BPSK信号上下变频器的设计流程和技术细节。首先，通过Matlab仿真得到FIR滤波器系数并将其转换为适用于FPGA的定点数值形式。接着，使用Verilog语言编写串口接收和AD/DA控制程序，确保信号传输的准确性与时序控制。文中还探讨了跨时钟域问题及其解决方案，并展示了通过Modelsim和ChipScope进行的波形仿真和信号抓取效果。此外，作者分享了一些实际开发过程中遇到的问题及解决方法，如系数加载顺序、SPI接口时序优化以及软硬件联合验证的方法。 适合人群：对数字信号处理、嵌入式系统开发感兴趣的电子工程师、科研人员及高校相关专业学生。 使用场景及目标：①理解和掌握FPGA在通信领域的应用；②学习如何将理论模型转化为实际电路设计；③提高解决复杂工程项目中常见问题的能力。 其他说明：本文不仅提供了完整的项目实现步骤，还包括了许多宝贵的实践经验，对于希望深入研究FPGA技术和通信系统的读者来说是一份非常有价值的参考资料。
无线传感器网络路由协议仿真验证专用工具
07-23
资源下载链接为： https://pan.quark.cn/s/76e2792c869c WSN-X 是一款专为无线传感网（WSN）网络连接算法仿真设计的轻量级工具。它基于 Pygame 库开发，旨在让用户在 10 分钟内快速上手并进行仿真实验。 WSN-X 的主要功能包括： WSN-X 的特色功能： 通过这些功能，WSN-X 能够帮助用户快速搭建无线传感网仿真环境，测试和验证各种网络连接与路由算法，适用于教学演示、科研实验和算法原型验证等场景。
无刷电机无感控制：速度电流双闭环的程序与仿真实验图详解 滑模观测器 专业版
07-23
内容概要：本文详细探讨了无刷电机无感控制中速度电流双闭环的设计与实现方法。首先介绍了无感控制的优势，即避免了传统传感器带来的高成本和易受干扰的问题。接着，文章展示了基于MATLAB/Simulink的仿真模型结构图，解释了速度环和电流环的工作机制以及两者之间的相互关系。文中提供了具体的滑模观测器和锁相环的代码实现，强调了滑模增益随转速自适应变化的重要性，并讨论了反电势信号处理中低通滤波的应用。最后，通过实测波形对比验证了双闭环结构的有效性和稳定性。 适合人群：从事电机控制系统设计的研究人员和技术人员，尤其是对无刷电机无感控制感兴趣的工程师。 使用场景及目标：①理解和掌握无刷电机无感控制的基本原理；②学习并实现速度电流双闭环控制的具体方法；③优化无感控制系统的性能，提高系统稳定性和响应速度。 其他说明：文中提到的所有算法均可以在代码仓库中的FOC_NoSensor项目中找到具体实现。此外，作者还提到了高频注入法在零速场合的应用前景。
langchain4j-embeddings-bge-small-en-q-1.0.0-beta5.jar中文文档.zip
07-23
1、压缩文件中包含： 中文文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
buildctf babylu
07-23
这个是题目,希望有大佬能看看然后指正我哪里做错了,还有那个修复如果是人来修该怎么去修
三菱PLC气缸控制程序：成熟可靠、广泛应用的FX3U系列PLC控制案例，带注释适用于新手学习，经典案例供电气爱好者参考。 · FaultDetection
最新发布
07-23
内容概要：本文介绍了三菱FX3U系列PLC在气缸控制方面的成熟可靠编程案例。该程序已在实际设备上批量应用，涵盖气缸启动、停止、位置检测及故障处理等功能。文中详细解析了常用指令（如LD、AND、OR），并通过详尽注释提高代码易读性。此外，程序设计注重容错性，确保设备在异常情况下安全运行。该案例不仅展示了PLC控制气缸的实际应用价值，也为初学者提供了学习资源。 适合人群：PLC编程初学者及电气从业爱好者。 使用场景及目标：① 学习PLC编程基础知识和技术；② 掌握三菱FX3U系列PLC的具体应用；③ 提升解决实际工程问题的能力。 其他说明：该程序强调了代码的简洁性和可读性，旨在帮助读者更好地理解PLC编程的核心概念和技巧。
怎么微调大模型p tunning
05-15
### 如何使用 P-Tuning 方法微调大模型 P-Tuning 是一种高效的参数微调方法，它通过在输入中插入可学习的提示（Prompt），使模型能够适应特定任务，而无需更新大量的预训练权重。这种方法显著降低了计算和存储成本，同时保持了模型的良好性能。 以下是基于 GPT-2 模型的一个简化示例，展示如何应用 P-Tuning 来微调大模型： #### 示例代码：GPT-2 上的 P-Tuning 实现 假设我们有一个分类任务，目标是判断给定文本的情感极性（正面或负面）。我们将使用 P-Tuning 插入可学习的提示向量，并仅对该部分进行训练。 ```python import torch from transformers import GPT2LMHeadModel, GPT2Tokenizer # 加载预训练的 GPT-2 模型和分词器 model_name = 'gpt2' tokenizer = GPT2Tokenizer.from_pretrained(model_name) model = GPT2LMHeadModel.from_pretrained(model_name) # 定义超参数 prompt_length = 10 # 可学习提示的长度 batch_size = 8 # 批次大小 learning_rate = 5e-4 epochs = 3 # 训练轮数 # 初始化可学习的提示嵌入 (Prompt Embeddings) device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') embedding_dim = model.config.n_embd # 获取模型的隐藏维度 learnable_prompts = torch.nn.Parameter(torch.randn(prompt_length, embedding_dim)).to(device) # 冻结原生 GPT-2 参数 for param in model.parameters(): param.requires_grad = False # 构建优化器，只针对 learnable_prompts 进行梯度下降 optimizer = torch.optim.Adam([learnable_prompts], lr=learning_rate) # 数据集准备（此处仅为示意） def prepare_data(texts): inputs = [] for text in texts: tokenized_text = tokenizer.encode(text, add_special_tokens=False) input_ids = [tokenizer.bos_token_id] + list(range(len(tokenized_text)))[:prompt_length] + tokenized_text inputs.append(input_ids) return inputs texts = ["I love this movie", "This is terrible"] # 示例数据 inputs = prepare_data(texts) # 训练过程 for epoch in range(epochs): total_loss = 0 for batch in inputs: optimizer.zero_grad() # 添加可学习提示并传递到模型 input_tensor = torch.tensor(batch).unsqueeze(0).to(device) # 转换为张量 prompt_embedding = learnable_prompts.unsqueeze(0).expand(batch_size, -1, -1) # 广播至批次大小 full_input_embeddings = torch.cat((prompt_embedding, model.transformer.wte(input_tensor)), dim=1) attention_mask = torch.ones(full_input_embeddings.shape[:-1]).to(device) outputs = model(inputs_embeds=full_input_embeddings, attention_mask=attention_mask) logits = outputs.logits[:, prompt_length:, :] # 排除提示部分的影响 labels = input_tensor[:, prompt_length:].clone().detach() # 真实标签 loss_fn = torch.nn.CrossEntropyLoss(ignore_index=-100) shift_logits = logits[..., :-1, :].contiguous() shift_labels = labels[..., 1:].contiguous() loss = loss_fn(shift_logits.view(-1, shift_logits.size(-1)), shift_labels.view(-1)) loss.backward() optimizer.step() total_loss += loss.item() avg_loss = total_loss / len(inputs) print(f"Epoch {epoch+1}/{epochs}, Loss: {avg_loss:.4f}") print("P-Tuning 微调完成!") ``` --- ### 关键点解析 1. **可学习提示的作用** 提示是一种附加到输入上的可学习向量，在本例中表现为 `learnable_prompts`。它们被插入到原始输入之前，用于引导模型生成符合任务需求的结果[^3]。 2. **冻结主干网络参数** 在 P-Tuning 中，为了避免高昂的计算代价，会冻结预训练模型的主要参数，仅允许提示向量参与反向传播和梯度更新[^1]。 3. **高效性和灵活性** 相较于传统全参数微调方式，P-Tuning 显著减少了需要更新的参数数量，从而提高了效率。此外，由于提示可以放置在输入的不同位置，该方法具有较高的灵活性[^4]。 4. **对比其他方法** P-Tuning 和 Prefix Tuning 都是在输入端加入额外的可学习组件，但前者更加通用，支持在任意位置插入提示；而 LoRA 则专注于修改注意力机制中的某些子模块[^3]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值