EMIvv的博客

引言（Transformer）transformer一开始提出为上面这篇论文，主要应用在NLP领域。在此之前，nlp主要使用RNN（记忆的长度是有限的，比较短，所以有了后面的LSTM），LSTM等时序网络， 且无法并行化训练（即必须先计算出t0时刻的数据，再计算t1时刻的数据），导致训练效率低。所以提出transformer，如果在硬件不受限制的情况下，他的记忆长度是无限的。而且可以做并行化。核心模块：self-attention计算q,k,v对(q*k) / np.sqrt(d)得到

python使用numpy实现卷积操作talk is cheap，show you the codeimport numpy as npdef Conv2(img, kernel, n, stride): #img：输入图片；kernel：卷积核值；n：卷积核大小为n*n；stride:步长。 #return：feature map h, w = img.shape img = np.pad(img,((1,1),(1,1)),'constant',constant_values