finetune BERT时优化器的选择

已于 2022-04-18 00:13:44 修改
阅读量783 收藏 2
点赞数
分类专栏： NLP(包含深度学习) 文章标签： 自然语言处理
于 2020-06-28 16:33:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_22795223/article/details/107002575
版权

BERT在finetune时，优化器的选择其实是有讲究的，这里进行相关整理~

BERT在预训练时，对标准Adam优化器优化过程进行了省略
在这里插入图片描述
所以，BERT_Adam会造成Finetune时的不稳定（insstability）
在这里插入图片描述
小样本学习的时候，一定记得要换回标准的Adam优化器！

Bert微调技巧实验大全-How to Fine-Tune BERT for Text Classification
lynne233
02-25 8870
背景介绍 文本分类是NLP中的一个经典任务， 通常在大型的数据集进行一些预训练的模型在文本分类上可以取得很不错的成绩。例如word2vec， CoVe(contextualized word embeddings)和ELMo都取得了不错的成绩。Bert是基于双向transformer使用masked word prediction和NSP(next sentence prediction)的任务进...
小样本如何更好的在BERT上fine-tune
徐先森的博客
01-09 3019
小样本如何更好的在BERT上fine-tune
keras-LAMB-Optimizer:从“将BERT的预训练时间从3天减少到76分钟”一文中，针对Keras的LAMB优化器的实现
03-16
Keras LAMB Optimizer（用于批量训练的分层自适应时刻优化器） 实现LAMB优化器。 仅使用学习速率作为超参数，即可支持高达64k的大批量训练。 还支持较小的批处理大小，而无需更改其他超级参数。 用法 from keras_lamb import LAMBOptimizer optimizer = LAMBOptimizer ( 0.001 , weight_decay = 0.01 ) model . compile ( optimizer , ...) 要求 Keras 2.2.4+ Tensorflow 1.13+
Perseus-BERT——业内性能极致优化的BERT训练方案
weixin_33875564的博客
02-18 724
【作者】 笋江（林立翔） 驭策（龚志刚） 蜚廉（王志明） 昀龙（游亮） 一，背景——横空出世的BERT全面超越人类 2018年在自然语言处理（NLP）领域最具爆炸性的一朵“蘑菇云”莫过于Google Research提出的BERT（Bidirectional Encoder Representations from Transformers）...
在finetune的时候优化bert中优化器AdamWeightDecayOptimizer
samoyan的博客,记录技术成长~
04-26 1569
# bert源码中的AdamWeightDecayOptimizer class AdamWeightDecayOptimizer(tf.train.Optimizer): """A basic Adam optimizer that includes "correct" L2 weight decay.""" def __init__(self, learning_rate, weight_decay_rate=0.0.
bert中使用的优化器AdamW
sinat_28375239的博客
02-19 2379
bert中使用的优化器AdamW https://www.haomeiwen.com/subject/qrnrmhtx.html
跟着代码理解BERT中的优化器AdamW（AdamWeightDecayOptimizer）
breeze21的博客
11-24 2415
记录： https://www.jianshu.com/p/e17622b7ffee
Fine-tune BERT for Extractive Summarization.docx
09-23
《Fine-tune BERT for Extractive Summarization》这篇论文主要探讨了如何利用预训练的Transformer模型Bert对抽取式文本摘要进行优化。抽取式文本摘要是一种技术，旨在从原始文档中挑选出关键信息，生成一个简短但...
基于transformers+bert预训练模型在语义相似度任务上的finetune
03-22
标题中的“基于transformers+bert预训练模型在语义相似度任务上的finetune”指出，这个项目关注的是如何利用transformers库以及BERT（Bidirectional Encoder Representations from Transformers）预训练模型来微调...
Fine-tune BERT for Extractive Summarization（有代码pytorch）
真的是个瘦子
01-14 4562
本论文是 extractive summarization 摘要提取通常被定义为一个二分类问题，二分类问题表明这个句子是否在这个摘要中。 我们的提取模型是建立在这个编码器之上，通过堆叠几个句子间Transformer来捕获用于提取句子的文档级特征。 抽取结构使用encoder-decoder结构，将同一个经过预先训练的BERT编码器与随机初始化的Transformer结合起来。 我们设计了一个新...
深度学习优化器
misite_J
04-16 720
优化器 优化器种类 SGD: 随机梯度下降，每次迭代只训练一个样本，不能利用 CPU 或 GPU 并行计算 speed up，且每个样本都进行gradient descent，这无疑增加了样本中的概率，所以学习速度较慢。 torch.optim.SGD(params, lr=, momentum=0, dampening=0, weight_decay=0, nesterov=False) AS...
如何让Bert在finetune小数据集时更“稳”一点
zenRRan的博客
06-18 2582
作者：邱震宇（华泰证券股份有限公司 算法工程师）知乎专栏：我的ai之路来自：AINLP最近刷到一篇论文，题目是Revisiting Few-sample BERT Fine-tuning...
BERT知识点
qq_35707773的博客
11-05 2318
BERT是一种预训练语言模型，是基于Transformer encoder的双向编码器，本质是一个denoised auto encoding(去噪自动编码)模型，它能基于上下文得到文本的表示。它是一个两阶段模型，即预训练-微调。预训练任务包括MLM（掩码语言模型）和NSP。对于下游任务，只需要额外增加一些结构，并对模型进行微调。
RMSProp/Momentum/Adam/AdamW，多种优化器详解及伪代码实现
谁谓荼苦，其甘如荠
07-09 5747
多种梯度更新方法——都是对Gradient Descent的优化 传统GD x = x - lr * grad_x AdaGrad——不同方向的梯度应该是可以不一样的 为了解决不同方向上梯度涨落速度不一致的情况，所以相当于给每个方向不同的learning_rate。 具体每个方向的lr大小要怎么拟定？——之前该方向上grad大的，就给小lr——即梯度变化幅度缓慢，那么就拉开步子大胆走。如上图的公式，历史grad总量和lr大小成反比，即该方向的总grad越小，则lr就越大。 但该方法解决不了，在该方向上
【MindSpore】跑bert base pretrain for gpu，AdamWeightDecay优化器性能对不上
weixin_45666880的博客
07-15 440
所以选择AdamWeightDecay时为float16结果，选择其他优化器时为float32结果。找到问题了，代码默认开启了float16，但是只有AdamWeightDecay优化器支持。2、参数设置batchsize32*8，优化器'AdamWeightDecay'问题官方给的结果是290ms/step，我跑出来的是80ms/step，相差约3倍。如果设置优化器为'Momentum'，跑出来的是288ms/step，结果正常。还请帮忙定位或提供建议，谢谢~...
[work] Adam优化器
This is bill的专属博客
10-16 3581
基于随机梯度下降（SGD）的优化算法在科研和工程的很多领域里都是极其核心的。很多理论或工程问题都可以转化为对目标函数进行最小化的数学问题。 按吴恩达老师所说的，梯度下降（Gradient Descent）就好比一个人想从高山上奔跑到山谷最低点，用最快的方式（steepest）奔向最低的位置（minimum）。 SGD基本公式   动量(Momentum)     参考链接...
NLP面试题总结（包含8种优化器简介）.03
fly_Xiaoma的博客
03-18 2550
part 1. 1. 介绍一下几种优化器 在机器学习与深度学习中，主要应用于梯度下降。如，传统的优化器主要结合数据集，通过变化单次循环所采用的数据量的大小对梯度下降进行控制；非传统的优化器则进一步集合数据集的特点和模型的训练时间，以不同的形式变化梯度下降的学习率。 常见的优化器有SGD、BGD、MBGD、Momentum、Adagrad、RMSprop、Adam。 梯度下降的原理： ...
关于深度学习优化器 optimizer 的选择，你需要了解这些
热门推荐
g11d111的博客
08-03 2万+
在很多机器学习和深度学习的应用中，我们发现用的最多的优化器是 Adam，为什么呢？下面是 TensorFlow 中的优化器， https://www.tensorflow.org/api_guides/python/train 在 keras 中也有 SGD，RMSprop，Adagrad，Adadelta，Adam 等： https://keras.io/optimizers/我们可以
研读pytorch版本的BERT分类代码
家行hang的博客
04-15 5605
1 首先加载了tokenizer 就是有个vocab.txt文件，里面每行是个token，比如： abc bcd 吴家行 然后Tokenizer这个类中有几个属性： vocab 是个字典，也就是将上面的vocab.txt文件变成如下的形式： { "abc": 0, "bcd": 1, "吴家行": 2, } ids_to_tokens 调换vocab中token...
使用transformers和BERT进行语义相似度finetune研究
由于BERT模型的复杂性，进行Finetune的过程中，需要对数据进行预处理，设置合适的批次大小（batch size），学习率等超参数，并选择适当的优化器和损失函数。完成模型训练后，通常会进行评估和测试，以验证模型在未见...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Xu_Wave

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值