HUSTHY的博客

NLP中的对抗训练FGMPGDFreeLBSMARTimport torchclass FGM(): ''' Example # 初始化 fgm = FGM(model,epsilon=1,emb_name='word_embeddings.') for batch_input, batch_label in data: # 正常训练 loss = model(batch_input, batch_label)

标签平滑的原理和作用标签平滑的实现——训练过程中loss函数的使用实践效果对比

深度学习中激活函数的总结

torch.optim.lr_scheduler：调整学习率https://blog.youkuaiyun.com/qyhaill/article/details/103043637

softmax()和log_softmax()比较和分析

转载自——goodxin_ie的博客：pytorch学习率调整规则

这个文章对优化器的分析非常全面，我想转载着自己学习。基于Pytorch实现深度学习优化算法(Adagrad/RmsProp/Momentum/Adam)

转载文章——https://blog.youkuaiyun.com/guyuealian/article/details/88343924

有必要对pytorch的所有损失函数做一个了解，参考别人总结的内容，mark一下，常来回顾：PyTorch的十八个损失函数

目录一、过拟合的表现以及判定1、模型过拟合的表现2、模型过拟合的判定二、过拟合的原因三、过拟合的解决方案1、模型层面2、数据层面3、训练层面4、其他 最近在做NLP相关任务的时候，训练神经网络模型的过程中，遇到过模型过拟合的情况，到底怎么解决过拟合，来提高模型的性能，不是特别的清晰。以前学习机器学习的时候，也讲到了模型的过拟合，对里面怎么来解...

在深度学习中经常看到batch normalization的使用，在Bert模型里面经常看到layer normalization的使用。它们都是归一化的方法，具体的作用和区别以及为何能够work，我认为需要有一个很好的理解。因此，在参考了一些资料形成了这篇博客。...

在做NLP算法工程师的时候，了解到了NER命名实体识别中LSTM+CRF是目前主流的方法，一直对CRF不是很理解，最近抽时间对CRF进行了较为全面的学习。写这篇博客特此记录，以供后续复习，同时也加深自己对这些理论知识的理解。一、联合概率和条件概率的回顾联合概率和条件概率是概率论里面的两个基本概念，这里就对它们的公式和含义进行简单的回顾。以上就是联合概率和条件概率知识的简...

转载自——隐马尔可夫模型 - HMM的三个问题 - 预测问题 - Viterbi算法原文中的有些过程不是很详细，我在这里进行了修改！并且添加了代码实现部分目录近似算法Viterbi算法HMM案例-Viterbi代码实现问题：在观测序列已知的情况下，状态序列未知。想找到一个最有可能产生当前观测序列的状态序列。可以用下面两种办法来求解这个问题：1、近...

转载自简书——隐马尔可夫模型 - HMM的三个问题 - 概率计算问题，把其中的有些公式排版做了简单修改!其中的后向概率算法有点难度！目录一、HMM案例回顾二、HMM典型的3个问题1、概率计算问题2、学习问题3、预测问题三、概率计算问题解决方案1、暴力直接计算法2、前向-后向算法2.1 前向算法：2.2HMM案例-前向算法2.3 后向算法...

发现简书上有一个作者写的有关马尔科夫系列的文章写得详细、生动并且系统，特转载过来学习一下。原文地址：隐马尔可夫模型 - 马尔可夫链、HMM参数和性质目录一、马尔可夫性质二、马尔可夫链例子:假设认为股价有三种状态(高、中、低)；三、HMM-隐马尔可夫模型四、HMM参数五、HMM的两个基本性质一、马尔可夫性质马尔科夫性质——当前的状态只和上一时刻有关，...

RNN循环神经网络在解决一些时序问题上是很成功的，但是RNN由于在梯度反向传播的时候，每一步都会乘以一个参数W，当传递的步数很长了，就会导致梯度爆炸和梯度消失——也就是长距离依赖问题。为了解决这个问题，基于RNN就提出了LSTM模型。它采用门机制来实现信息的存储，从而解决了长距离依赖问题。至于LSTM具体是如何缓解了梯度消失和梯度爆炸的问题参考知乎文章——LSTM如何解决梯度消失问...