
attention
电子楼战地记者
这个作者很懒,什么都没留下…
展开
-
Attention机制论文阅读——global attention和local attention
论文名字:Effective Approaches to Attention-based Neural Machine Translation这篇文章提出了两种attention机制:全局attention机制和局部attention机制(区别在于关注的是所有encoder状态还是部分encoder状态)文章中计算context向量的过程:通过两种attention机制得到上下文向量:Global...原创 2018-06-03 11:20:28 · 14494 阅读 · 0 评论 -
Attention机制论文阅读——Soft和Hard Attention
论文:Show, Attend and Tell: Neural Image CaptionGeneration with Visual Attention提出了attention-based model的变种:Stochastic "Hard" Attention和Deterministic "Soft" Attention相同的框架:1、编码器:卷积神经网络提取特征:2、解码器:LSTM网络S...原创 2018-06-03 21:19:53 · 17735 阅读 · 0 评论 -
Attention机制论文阅读——SCA-CNN
论文:SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks for Image Captioning文章提出一个新颖的卷积神经网络叫做SCA-CNN,在CNN中加入了Spatial Attention和Channel-wise Attention机制。在图像标注任务中,SCA-CNN动态调制了多层特征图中的句子迭...原创 2018-06-04 21:48:26 · 11945 阅读 · 6 评论