DragonBark的博客

首先已经安装好了pytorch0.4，环境是python3.6、anaconda3，现在在0.4的基础上再安装一个pytorch1.2的环境一、下载pytorch1.2相关包https://download.pytorch.org/whl/torch_stable.html这里可以下载对应版本的pytorch和torchvision包，注意是.whl文件，要用pip安装二、创建虚拟环境# conda create -n env_name python=X.Xconda create -n pyt

复现论文《Effective Adversarial Regularization for Neural Machine Translation》，遇到的一些pytorch的技巧（坑），总结一下。原文是基于另一个库Chainer实现的，我在fairseq框架上加以复现，基于pytorch >= 1.0论文中主要用公式来介绍主要思想，主要集中在word embedding和loss部分的修...

fairseq transformer训练中的一些问题这两天看fairseq transformer的代码，并在服务器用transformer跑实验。今天遇到一些问题，和师兄进行了一些交流，记录下来。另一篇梳理nlp中的一些英文名词的还在写，整理好再发布。transformer中的数据的流向和形式的变化？在训练前，数据基本都是以 的形式传入，即 句子数*单词数 的一个矩阵。假设现...

token即句子中独立的单词，也称标记（token），包括标点在数据中保存为某单词 在词典 中的位置 ，类型为 tokenization标记化（tokenization）把句子分解成独立的token的过程。假设有两句话：s1：My name is Anny.s2：I am a student.那么把这两句话放在一起，经过token以后（假设参照某一个dictionary），可...