竹生的专栏

在看attention is all you need这篇论文时，对其中的描述理解不透彻，结合代码，详细的跑下整体的流程，总结了几个问题，记录下来。 为什么attention在Q∗KTQ*K^TQ∗KT之后需要除一个dk\sqrt{d_k}dk​​? attention有加法atttention（NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE, 2014）： 、点乘attention，其中，点乘的效率要高于加法

自编码器 自编码器是一种非常通用的神经网络工具。主要思想是通过一个编码器，将原始信息编码为一组向量，然后通过一个解码器，将向量解码为原始数据。通过衡量输入与输出的差别，来对网络参数进行训练。主要可以用来进行信息压缩。 最进在了解GAN方向的应用，发现很多GANs类似与自编码器的思想，在条件GAN中，生成器类似于自编码器中的解码器。都是通过给定一组输入，来得到相应的图片。我比较好奇自编码器产生的编码...