Attention Mechanism 注意力机制

注: 本文是作者的自我总结,没有严格地系统地讲述.本文主要作为个人总结记录, 欢迎大家批评,交流. https://zhouxiaowei1120.github.io/#blogs

Introduction 简介

Attention 可以认为是区分重要程度的一种方法,该机制通过计算不同位置的权重因子,给出不同位置的重要程度. 很多论文中,基本上会有这种公式,用来表示attention:
$${\alpha }_{i,j}=\frac{\exp (e_{i,j})}{\sum \exp (e_{i,j})}$$

几种attention应用方式

1. Self Attention GAN:
   Self-Attention Generative Adversarial Networks
2. Soft Attention
   Video Description Generation Incorporating Spatio-Temporal Features and a Soft-Attention Mechanism
3. Semantic Attention
   Image Captioning with Semantic Attention
   
4. Attention-GAN
   Attention-GAN for Ob ject Transfiguration in Wild Images