AI大模型探索之路-训练篇23：ChatGLM3微调实战-基于P-Tuning V2技术的实践指南

已于 2024-06-14 08:30:13 修改
阅读量1w 收藏 159
点赞数 170
CC 4.0 BY-SA版权
分类专栏： AI大模型预训练微调进阶 GLM开发部署微调实战 国产开源大模型开发实战手册 文章标签： AIGC 人工智能 语言模型 AI编程 自然语言处理 python agi
于 2024-05-15 19:20:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiaobing259/article/details/138919592

系列篇章💥

AI大模型探索之路-训练篇1：大语言模型微调基础认知
AI大模型探索之路-训练篇2：大语言模型预训练基础认知
AI大模型探索之路-训练篇3：大语言模型全景解读
AI大模型探索之路-训练篇4：大语言模型训练数据集概览
AI大模型探索之路-训练篇5：大语言模型预训练数据准备-词元化
AI大模型探索之路-训练篇6：大语言模型预训练数据准备-预处理
AI大模型探索之路-训练篇7：大语言模型Transformer库之HuggingFace介绍
AI大模型探索之路-训练篇8：大语言模型Transformer库-预训练流程编码体验
AI大模型探索之路-训练篇9：大语言模型Transformer库-Pipeline组件实践
AI大模型探索之路-训练篇10：大语言模型Transformer库-Tokenizer组件实践
AI大模型探索之路-训练篇11：大语言模型Transformer库-Model组件实践
AI大模型探索之路-训练篇12：语言模型Transformer库-Datasets组件实践
AI大模型探索之路-训练篇13：大语言模型Transformer库-Evaluate组件实践
AI大模型探索之路-训练篇14：大语言模型Transformer库-Trainer组件实践
AI大模型探索之路-训练篇15：大语言模型预训练之全量参数微调
AI大模型探索之路-训练篇16：大语言模型预训练-微调技术之LoRA
AI大模型探索之路-训练篇17：大语言模型预训练-微调技术之QLoRA
AI大模型探索之路-训练篇18：大语言模型预训练-微调技术之Prompt Tuning<

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI大模型探索之路-训练篇25：ChatGLM3微调实战-基于LLaMA-Factory微调改造企业级知识库
寻道AI，探索AI无限可能！
05-20 1万+
在当前信息技术迅猛发展的时代，知识库的构建与应用已成为企业竞争的关键。随着自然语言处理技术的不断进步，基于微调的企业级知识库改造落地方案受到越来越多的关注。在前面的系列篇章中我们分别实践了基于CVP架构-企业级知识库实战落地和基于基于私有模型GLM-企业级知识库开发实战；本文将深入探讨和实践一种基于微调技术的企业级知识库改造方法，以期为企业提供更加高效、安全和可靠的知识管理解决方案。
AI大模型探索之路-训练篇24：ChatGLM3微调实战-多卡方案微调步骤详解
寻道AI，探索AI无限可能！
05-17 7609
在现代自然语言处理（NLP）任务中，随着模型规模的扩大和训练数据的增多，单张GPU的显存已经无法满足大模型的训练需求。为了充分利用多张GPU进行并行训练，我们需要了解不同的并行策略。本文将详细介绍ChatGLM3微调实战中的多卡方案及其步骤。这三篇论文共同构成了DeepSpeed项目的理论基础，它们不仅展示了如何通过技术创新来解决大规模模型训练中的挑战，还为深度学习社区提供了实用的工具和方法。
大模型LLM-微调 P-Tuning v2
晓的博客
01-24 970
提示调优（Prompt tuning）是一种仅对连续提示进行调整的方法，它在训练时使用冻结的语言模型，从而大幅减少了每个任务所需的存储和内存使用。然而，在自然语言理解（NLU）的背景下，先前的研究表明，提示调优在普通大小的预训练模型上表现不佳。我们还发现，现有的提示调优方法无法处理困难的序列标注任务，这表明它缺乏普遍性。我们提出了一个新的实证发现，即经过适当优化的提示调优可以在各种模型规模和NLU任务中普遍有效。它在仅有0.1%-3%的参数被调整的情况下，能够与微调（finetuning）的性能相匹配。
参数高效微调PEFT(二)快速入门P-Tuning、P-Tuning V2
qq_44665283的博客
05-28 9478
参数高效微调PEFT(二)快速入门P-Tuning、P-Tuning V2
ChatGLM4部署教程（非常详细）零基础入门到精通，收藏这篇就够了
最新发布
qingkahui24689的博客
06-22 665
GLM-4-9B是由智谱AI推出的新一代开源预训练模型，具备超越Llama-3-8B的卓越性能，支持多轮对话、网页浏览、代码执行等功能，并新增26种语言支持。本文详细介绍了在Ubuntu 22.04系统上部署GLM-4-9B的环境配置过程，包括更新软件源、安装CUDA Toolkit 12.1等关键步骤。文章还强调了遵守开源协议的重要性，并提醒用户注意模型输出可能存在的误导性。部署过程涵盖了从系统版本确认到CUDA工具包安装的完整流程，为开发者提供了详细的配置指导。
P-Tuning v2：一种普遍有效的提示调整方法
人工智能讲师分享前沿技术
09-03 2351
人工智能咨询培训老师叶梓 转载标明出处预训练语言模型通过微调（fine-tuning）来适应特定任务虽然效果显著，但存在训练成本高、参数存储量大等问题。为了解决这些问题，清华大学的研究者们提出了一种名为P-Tuning v2的提示调整（prompt tuning）方法，该方法在不同规模的模型和多种自然语言理解（NLU）任务中表现出与微调相媲美的性能，同时大幅减少了训练时的存储和内存使用。
chatGLM3微调
huiguo_的博客
11-22 5179
大模型摘要微调
P-TuningV2实战：巧妙运用past_key_values提升模型性能
bishedaima_com_q的博客
06-29 382
可以确定past_key_values的shape是**[(num_hidden_layers, batch_size, num_heads, sequence_length - 1, embed_size_per_head), (num_hidden_layers, batch_size, num_heads, sequence_length - 1, embed_size_per_head)]**，其中past_key_value[0]是past_key;这不在本次的讨论内，给自己埋个坑。
AI大模型探索之路-训练篇20：大语言模型预训练-常见微调技术对比
寻道AI，探索AI无限可能！
05-11 2658
随着人工智能的迅猛发展，自然语言处理（NLP）在近年来取得了显著的进展。大型语言模型（LLMs）在多种NLP任务中展现了卓越的性能，这得益于它们在大规模文本数据集上进行的预训练和随后的微调过程。这些模型不仅能够理解和生成自然语言，还能在特定任务上通过微调达到令人印象深刻的精度和鲁棒性。本文将深入探讨几种重要的预训练模型，并细致比较目前广泛使用的两种先进微调技术——LoRA和P-Tuning V2。
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
热门推荐
丨汀、的博客
07-16 3万+
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
【ChatGLM3】微调指南
Java技术栈，分享不断学习、不断超越、不断积累的历程！
01-09 2746
除基础的 torch 依赖外，示例代码运行还需要依赖: 处理数据集格式 处理后的数据: 开始微调: 参数调整参考 数据量 x x 100 500 1000 3000 100000 100000 训练完成后，的路径在: 下载数据集AdvertiseGen 从清华大学网站下载 处理数据集格式 开始训练: 加载PT训练的checkpoint 加载训练微调后的的关键代码
P-Tunning V2简单理解
REfusing的博客
03-14 1022
之前看过P-tunning V2, 知道他得思想，最近突然想到了这件事，仔细看了一下他得代码实现，重新看了一遍，记录一下。图片源于：https://zhuanlan.zhihu.com/p/423902902P-Tunning V2的思路，仅仅通过微调连续的一些虚拟Token进行训练，固定模型的其它参数，从而实现低成本微调。
CHATGLM3应用指南（三）——模型微调
xiaoxian666的博客
05-13 1589
（3）修改“pt_checkpoint”为自己训练好的微调模型的“output”文件夹，修改“model”为chatglm3—6b底座模型的存放路径。（5）点击运行，等待一段时间后，在prompt输入提示词，即可出现回答。（4）确认所使用的内核，如果不对应，可以点击“内核” —>“更换内核”（1）在终端输入“jupyter notebook”运行finetune_pt.sh文件，使用命令。可使用下面代码对数据集格式调整。（2）创建以下的.ipynb文件。跳转到浏览器的jupyter。
知识图谱：【知识图谱问答KBQA（五）】——P-tuning V2
u013010473的博客
02-11 2700
Abstract Prompt tuning仅使用冻结的语言模型调整连续提示，大大减少了训练时每个任务的存储和内存使用，然而，在 NLU 的背景下，先前的工作表明，对于正常大小的预训练模型，prompt tuning效果不佳。我们还发现，现有的prompt tuning方法无法处理硬序列标记任务，这表明缺乏普遍性。我们提出了一个新的经验发现，即适当优化的prompt tuning可以在广泛的模型尺度和 NLU 任务中普遍有效，它在只调整0.1%-3%的参数下可以与fine-tuning性能相匹敌。我们的方法
P-tuningv2微调ChatGLM2及微调细节剖析
qq_41838627的博客
08-21 3003
本文基于ADGEN广告文本数据集，采用P-tuningv2技术微调ChatGLM2的简单案例，深入源码剖析微调细节，把握微调核心。 目录 1.数据集介绍 2. 模型准备 2.1 ChatGLM2-6b简介 2.2 安装与配置 3. 微调及微调细节 3.1 参数设置说明 3.2 LLM输入和标签构建说明 3.3 微调实现 4. 评估细节 4.1 评估实现 4.2 评估指标说明
P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks
Hanze的博客
04-08 792
以前的方法是输出一个tensor，然后在词表相似度对比，作者通过实验证明直接引入一个linear的效果更好，但是会略微增加参数量。这篇文章的主要贡献是基于前缀学习的一个新的经验性的发现，并提升了微调任务的通用性并且提升了在底参数下的性能。：作者认为数据prompt的长度与任务的复杂度有关，复杂一些的任务可能需要更多的token，反之则相反。：主要是说在多任务上联合训练的效果要比单独的要好。
自然语言处理: 第十四章P-tuing系列之P-tuning V2
victor_manches的博客
03-11 1283
项目地址: P-Tuning论文地址: [2110.07602] P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks (arxiv.org)在上一篇第十三章P-tuing系列之P-tuning V1-优快云博客 简单的介绍了P-tuning V1的核心思想，其核心思想主要是通过构造训练一个少量参数的prompt-encoder(lstm+mlp) 构建无真实语义信息的
什么是 P-tuning v2
彬彬侠的博客
04-20 1176
P-tuning v2 是 P-tuning 的改进版本，是一种参数高效微调（PEFT） 方法，旨在通过优化连续提示（continuous prompts）来适配预训练语言模型到特定任务，同时保持模型原始参数不变。P-tuning v2 在 P-tuning v1 的基础上进行了多项优化，增强了提示生成器的表达能力、初始化策略和任务适配性，使其在更广泛的任务（包括自然语言理解和生成任务）上表现更稳定，性能更接近全参数微调、Adapter Tuning 或 LoRA 等方法。
评论 176
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

寻道AI小兵

🐳 感谢你的巨浪支持！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值