DragonBark的博客

首先已经安装好了pytorch0.4，环境是python3.6、anaconda3，现在在0.4的基础上再安装一个pytorch1.2的环境 一、下载pytorch1.2相关包 https://download.pytorch.org/whl/torch_stable.html 这里可以下载对应版本的pytorch和torchvision包，注意是.whl文件，要用pip安装 二、创建虚拟环境 # conda create -n env_name python=X.X conda create -n pyt

复现论文《Effective Adversarial Regularization for Neural Machine Translation》，遇到的一些pytorch的技巧（坑），总结一下。 原文是基于另一个库Chainer实现的，我在fairseq框架上加以复现，基于pytorch >= 1.0 论文中主要用公式来介绍主要思想，主要集中在word embedding和loss部分的修...

fairseq transformer训练中的一些问题 这两天看fairseq transformer的代码，并在服务器用transformer跑实验。今天遇到一些问题，和师兄进行了一些交流，记录下来。 另一篇梳理nlp中的一些英文名词的还在写，整理好再发布。 transformer中的数据的流向和形式的变化？ 在训练前，数据基本都是以 的形式传入，即 句子数*单词数 的一个矩阵。 假设现...

token 即句子中独立的单词，也称标记（token），包括标点 在数据中保存为某单词 在词典 中的位置 ，类型为 tokenization 标记化（tokenization）把句子分解成独立的token的过程。 假设有两句话： s1：My name is Anny. s2：I am a student. 那么把这两句话放在一起，经过token以后（假设参照某一个dictionary），可...