本文介绍了复现《Effective Adversarial Regularization for Neural Machine Translation》的过程，主要关注在PyTorch上的实现，包括word embedding的扰动和loss函数的调整。在word embedding部分，通过添加扰动项改进了输入表示；在loss部分，采用了双重损失函数求和的方式。此外，还分享了裁剪数据以加速调试、以及在PyTorch中使用特定API的技巧。
复现论文《Effective Adversarial Regularization for Neural Machine Translation》，遇到的一些pytorch的技巧（坑），总结一下。
原文是基于另一个库Chainer实现的，我在fairseq框架上加以复现，基于pytorch >= 1.0
论文中主要用公式来介绍主要思想，主要集中在word embedding和loss部分的修改：
- word embedding部分主要是使原本的 e = E ( x ) e = E(x) e=E(x)，变成了 e = E ( x ) + r ^ e = E(x)+\hat{r} e=E(x)+
最低0.47元/天 解锁文章
扫一扫
1291
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
