funny_n_lucky的博客

系统是win7 64bit，显卡是850m:1，安装anaconda 4.5.4和VS2015 2，安装cuda8.0.60    (注意：要匹配你的英伟达显卡驱动版本，版本号是后五位）cuda版本对应的驱动版本cuda8下载地址 3，安装CUDNN（注意匹配对应的CUDA版本）cudnn下载地址4，安装tensorflow gpu 1.4.0...

谷歌论文《Attention is all you need》一文中，摒弃了传统CNN,RNN，直接训练序列化数据。关于此论文，网上很多解说，不一一赘述。关于Word2Vec,可以看作是无监督的嵌入方法，将one-hot转成embedding vector。如：X是中心词的前两个和后两个词的One Hot向量(不包含中心词，CBoW)，Y是中心词的One Hot向量，这样训练出来的隐藏层的W就...