NEFTune，SFT训练阶段给Embedding加噪音

最新推荐文章于 2025-06-10 10:50:17 发布
原创 最新推荐文章于 2025-06-10 10:50:17 发布 · 256 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#embedding

仿照CV里，数据增强的思路（给图像做旋转、反转、改变亮度等）；NLP里，SFT训练数据较少时，也可往embedding上加噪音，来增加训练数据的丰富程度。进而提升最终训练效果。

前提假设：Embedding向量，其附近的向量，是语义相似的。

效果：

能提升10%左右。

实现：

NEFTUNE: NOISY EMBEDDINGS IMPROVE INSTRUCTION FINETUNING
c_cpp_csharp的专栏
10-26 537
我们展示了语言模型微调可以通过简单的增强来改进，有时甚至是显著的改进。NEFTune在训练期间向嵌入向量添加噪声。使用Alpaca对LLaMA-2-7B的标准微调在AlpacaEval上实现了29.79%，而使用噪声嵌入时，这一比例上升到64.69%。NEFTune还改进了现代指令数据集上的强基线。使用Evol Instruct训练的模型可以看到10%的改进，使用ShareGPT8%的改进，OpenPlatypus改进了8%。
大模型微调实战之 Transformer 强化学习（TRL Reinforcement Learning）（二）SFTTrainer、RewardTrainer
大模型与Agent智能体
04-28 1116
大模型微调实战之 Transformer 强化学习（TRL Reinforcement Learning）（二）
NEFTune: 通过简单的噪声提升指令精调效果
Steve Wang's blog
11-16 2206
NEFTune方法的原理仅使用一句话就可以描述清楚：在finetune过程的词向量中引入一些均匀分布的噪声即可明显地提升模型的表现
大模型 | NEFTune之引入随机噪声对大模型训练的收益
RichardsZ_的博客
10-26 1221
注意，原先传入model的是input_ids，而当下由于我们将inputs_embeds增加了噪声，因此传入model的将直接替换为inputs_embeds，代码如下。进度：直接对模型进行如下封装，原理是对model.embed_tokens.forward()进行改写，经实践，这种方法不管用，会报堆栈溢出的error。在AlpacaEval榜单上，利用GPT4作为评分器，在多个数据上微调Llama2-7B模型，NEFTune方法相较于直接微调方法，均有显著提高。
噪声嵌入提升语言模型微调性能
人工智能讲师分享前沿技术
05-04 1292
实验表明，使用噪声嵌入对原始LLM（如LLaMA-2-7B）进行微调时，其在AlpacaEval上的性能从29.79%提升至64.69%，显示出约35个百分点的显著提升。最近，一篇名为《NEFTUNE: NOISY EMBEDDINGS IMPROVE INSTRUCTION FINETUNING》的论文提出了一种新颖的方法，通过在训练过程中向嵌入向量添加噪声来提升模型的微调性能。在传统的语言模型微调中，模型的嵌入层会将输入的词汇映射为固定长度的向量，这些向量随后会被用来生成模型的输出。
探索LLM调优的新境界：NEFTune开源项目详解与应用实践
gitblog_00099的博客
06-10 546
探索LLM调优的新境界：NEFTune开源项目详解与应用实践 随着自然语言处理（NLP）领域的飞速发展，大型语言模型（LLMs）的微调成为提升特定任务性能的关键步骤。在这一背景下，NEFTune——一个通过引入随机噪声至嵌入向量以增强指令微调效果的创新方法，应运而生，并迅速集成至Hugging Face的TRL库及HF Trainer，以及Ludwig.ai平台中。让我们深入了解这个看似简单却功...
「大模型学习」(9)大模型中的SFT（包括lora、Qlora）超详细！
qq_43044037的博客
06-10 1229
本文介绍了四种大模型高效微调技术： LoRA（低秩适应）：通过添加低秩矩阵微调关键层，显著减少参数量（0.1%~1%），效果接近全量微调； AdaLoRA（自适应LoRA）：动态调整各层秩值，利用SVD分解识别重要维度进行选择性微调； QLoRA（量化LoRA）：结合4-bit量化、二次压缩和分页优化器，极大降低显存需求（可GPU/CPU切换）； Adapter（适配器）：在模型层间插入小型MLP模块，仅训练这些附加结构。所有方法均保持原模型冻结，通过不同策略实现参数高效微调，有效解决大模型全参微调的高成本
LLaMA-Factory大模型训练框架相关参数解释
qq_38773993的博客
10-25 2497
vllm：利用向量化计算加速大模型推理过程，传统深度学习在推理过程中，往往采用逐个样本的处理方式，这在处理大模型时效率较低，而vllm框架通过一次处理多个样本，充分利用了计算资源，实现了高效的推理性能。大量减少了大模型微调参数，是一种参数高效的微调方法，只需微调高层特征，加快模型收敛，节约微调时间，最大程度保留大模型预训练学习到的语言的 “共性”，可解释性较强。（1）学习率：控制模型学习速度的参数，学习率高时，模型学习速度快，但可能导致学习过程不稳定，学习率低时，模型学习速度慢，训练时间长，效率低。
大模型驱动的新范式选车引擎
铸精品·释产能·启未来
04-03 1661
通过Agent化的方式构建了大模型驱动的生成式搜索引擎GSE，并对其进行了整体评估，在选车场景中传统引擎难以有效应对的长尾问题以及复杂选车问题上，效果独立评估与相对评估（相比传统搜索）上GSE都达到了非常不错的水平，选车体验焕然一新，更加出色。业界实践中，大模型做SFT（Supervised Fine-Tuning，有监督微调）经常会遇到比较棘手的情况，领域上能力增强，但是通用上的能力变得一塌糊涂，各种任务上的评测效果都显著下降，对垂直域上的数据产生过拟合，失去了原有的泛化能力。
swift微调多模态大语言模型
liguandong
05-05 2390
Qwen1.5微调训练脚本中，我用到了--dataset new_data.jsonl 这个选项， 可以训练成功，但我看文档有提到--custom_train_dataset_path这个选项，这两个有什么区别呢，是不是对自己生成的数据集用--dataset new_data.jsonl 这种方式是不对的，但是为什么又确实训练成功了呢（至少模型确实学习到了训练资料中的知识） # Experimental environment: A100 # 2*40GB GPU me...
NEFTune 噪声增强微调
m0_63372012的博客
08-14 670
NEFTune（Noise-Enhanced Fine-Tuning）是一种新兴的优化技术，它通过引入噪声来增强模型的微调过程。与传统的优化方法不同，NEFTune 利用了噪声来帮助模型跳出局部最优解，从而找到更好的全局最优解。这种方法尤其适用于大模型和复杂的训练任务。
大模型微调技巧：在 Embeeding 上加入噪音提高指令微调效果
2201_75499313的博客
12-16 1692
NEFTune方法可以缓解模型在指令微调阶段的过拟合现象，可以更好的利用预训练阶段的知识内容。但研究目前还存在一些缺陷，例如评价器为GPT4、没有在更大的模型上进行实验。
【论文笔记】NEFTune: Noisy Embeddings Improve Instruction Finetuning
小嗷犬的博客
01-05 1295
我们表明，通过简单的增强，语言模型微调可以得到改进，有时甚至可以显著提高。NEFTune在训练过程中向嵌入向量添加噪声。使用Alpaca对LLaMA-2-7B进行标准微调，在AlpacaEval上的成绩为29.79%，而使用带噪声的嵌入时，成绩上升至64.69%。NEFTune在现代指令数据集上也优于强大的基线。使用Evol-Instruct训练的模型提高了10%，ShareGPT提高了8%，OpenPlatypus提高了8%。
NLP-数学原理-关于NLP流程与word2vec大白话详解(为什么会有词向量真实讲解)
随意聊点
02-28 1627
思维导图: https://www.processon.com/diagraming/5c6e214ee4b056ae2a10eb9c 本文争取以最短的文字,最简单的语言来描述NLP流程与w2v,详细原理会提供相应的链接. 写到一半发现还是有很多地方省略过去= =写的不够详细 1.NLP流程详解 1.1数据清洗 不感兴趣的、视为噪音的内容清洗删除，包括对于原始文本提取标题、摘要、正文等...
2aurora2_SCNU-Compilation-Principle-Experiment_37128_1765300891593.zip
12-10
2aurora2_SCNU-Compilation-Principle-Experiment_37128_1765300891593.zip
编译原理课程核心实验项目集锦_涵盖词法分析器设计与实现递归下降语法分析程序构建算符优先分析算法实践及语法树可视化与错误处理机制_旨在通过CC编程语言深入实践编译技术基础帮助计.zip
12-10
编译原理课程核心实验项目集锦_涵盖词法分析器设计与实现递归下降语法分析程序构建算符优先分析算法实践及语法树可视化与错误处理机制_旨在通过CC编程语言深入实践编译技术基础帮助计.zip
基于改进灰狼算法的并网交流微电网经济优化调度研究（Matlab代码实现）
最新发布
12-10
基于改进灰狼算法的并网交流微电网经济优化调度研究（Matlab代码实现）
【自动化控制】基于PLC的全自动洗衣机控制系统
12-10
内容概要：本文设计了一种基于PLC的全自动洗衣机控制系统内容概要：本文设计了一种，采用三菱FX基于PLC的全自动洗衣机控制系统，采用3U-32MT型PLC作为三菱FX3U核心控制器，替代传统继-32MT电器控制方式，提升了型PLC作为系统的稳定性与自动化核心控制器，替代水平。系统具备传统继电器控制方式高/低水，实现洗衣机工作位选择、柔和过程的自动化控制/标准洗衣模式切换。系统具备高、暂停加衣、低水位选择、手动脱水及和柔和、标准两种蜂鸣提示等功能洗衣模式，支持，通过GX Works2软件编写梯形图程序，实现进洗衣过程中暂停添加水、洗涤、排水衣物，并增加了手动脱水功能和、脱水等工序蜂鸣器提示的自动循环控制功能，提升了使用的，并引入MCGS组便捷性与灵活性态软件实现人机交互界面监控。控制系统通过GX。硬件设计包括 Works2软件进行主电路、PLC接梯形图编程线与关键元，完成了启动、进水器件选型，软件、正反转洗涤部分完成I/O分配、排水、脱、逻辑流程规划水等工序的逻辑及各功能模块梯设计，并实现了大形图编程。循环与小循环的嵌; 适合人群：自动化套控制流程。此外、电气工程及相关，还利用MCGS组态软件构建专业本科学生，具备PL了人机交互C基础知识和梯界面，实现对洗衣机形图编程能力的运行状态的监控与操作。整体设计涵盖了初级工程技术人员。硬件选型、; 使用场景及目标：I/O分配、电路接线、程序逻辑设计及组①掌握PLC在态监控等多个方面家电自动化控制中的应用方法；②学习，体现了PLC在工业自动化控制中的高效全自动洗衣机控制系统的性与可靠性。;软硬件设计流程 适合人群：电气；③实践工程、自动化及相关MCGS组态软件与PLC的专业的本科生、初级通信与联调工程技术人员以及从事；④完成PLC控制系统开发毕业设计或工业的学习者；具备控制类项目开发参考一定PLC基础知识。; 阅读和梯形图建议：建议结合三菱编程能力的人员GX Works2仿真更为适宜。; 使用场景及目标：①应用于环境与MCGS组态平台进行程序高校毕业设计或调试与运行验证课程项目，帮助学生掌握PLC控制系统的设计，重点关注I/O分配逻辑、梯形图与实现方法；②为工业自动化领域互锁机制及循环控制结构的设计中类似家电控制系统的开发提供参考方案；③思路，深入理解PL通过实际案例理解C在实际工程项目PLC在电机中的应用全过程。控制、时间循环、互锁保护、手动干预等方面的应用逻辑。; 阅读建议：建议结合三菱GX Works2编程软件和MCGS组态软件同步实践，重点理解梯形图程序中各环节的时序逻辑与互锁机制，关注I/O分配与硬件接线的对应关系，并尝试在仿真环境中调试程序以加深对全自动洗衣机控制流程的理解。
编译原理课程第四次实验项目之目标代码生成模块实现与优化研究_基于LLVM中间表示IR的MIPS汇编指令生成器与寄存器分配算法模拟器_用于深入理解编译器后端工作流程_掌握从抽象语法树.zip
12-10
编译原理课程第四次实验项目之目标代码生成模块实现与优化研究_基于LLVM中间表示IR的MIPS汇编指令生成器与寄存器分配算法模拟器_用于深入理解编译器后端工作流程_掌握从抽象语法树.zip
sft胃微调属于模型训练什么阶段
08-17
SFT（Supervised Fine-Tuning，监督微调）是模型训练中的一个重要阶段，通常在预训练（Pre-training）之后进行。在模型开发的整体流程中，通常包括以下几个主要阶段： 1. **预训练（Pre-training）** 在大规模无标签数据上进行，目标是让模型学习通用的语言表示和特征提取能力。这一阶段通常使用自监督学习方法，例如语言模型任务（如GPT系列）或掩码语言模型任务（如BERT）。 2. **监督微调（Supervised Fine-Tuning, SFT）** 在预训练完成后，模型会基于特定任务的有标签数据进行微调。SFT阶段的目标是将预训练模型适配到具体的应用场景，例如文本分类、问答系统或机器翻译等。该阶段通常依赖于标注数据集，并通过监督学习的方式更新模型参数[^1]。 3. **强化学习（Reinforcement Learning, RL）**（可选） 在某些高级应用中，如对话系统或文本生成，会在SFT之后进一步使用强化学习来优化模型输出，使其更符合人类偏好或特定任务目标。例如，ChatGPT 使用了基于人类反馈的强化学习（RLHF）来提升生成质量。 因此，SFT胃微调属于模型训练中的**监督微调阶段**，是在预训练模型的基础上，利用有监督的数据进一步调整模型参数，使其更适应特定任务的需求。这一阶段对于提升模型在具体任务上的性能至关重要。 ### 示例代码：使用 Hugging Face Transformers 进行 SFT 微调 ```python from transformers import AutoTokenizer, AutoModelForSequenceClassification, Trainer, TrainingArguments # 加载预训练模型和分词器 model_name = "bert-base-uncased" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=2) # 假设有标注的数据集 from datasets import load_dataset dataset = load_dataset("imdb") # 对数据集进行编码 def tokenize_function(examples): return tokenizer(examples["text"], padding="max_length", truncation=True) tokenized_datasets = dataset.map(tokenize_function, batched=True) # 设置训练参数 training_args = TrainingArguments( output_dir="./results", evaluation_strategy="epoch", learning_rate=2e-5, per_device_train_batch_size=8, num_train_epochs=3, weight_decay=0.01, ) # 创建 Trainer trainer = Trainer( model=model, args=training_args, train_dataset=tokenized_datasets["train"], eval_dataset=tokenized_datasets["test"], ) # 开始微调 trainer.train() ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值