机器学习笔记 计算机视觉中的注意机制综述论文简读

一、概述

        人类视觉系统可以自然高效地找到复杂场景中的重要的区域，受到这种现象的启发，注意力机制（Attention Mechanisms）被引入到计算机视觉系统中。注意力机制已经在计算机视觉的各种任务（如：图像识别、目标检测、语义分割、动作识别、图像生成、三维视觉等）中取得了巨大的成功。

        根据方法对注意力机制进行了分类，如通道注意、空间注意、时间注意和分支注意。

        但是，研究人员在研究不同任务的注意力机制的时候，往往注重的是任务本身，而忽略了注意力机制本身就是一个研究方向，是一个尝试用计算机视觉系统模拟人类视觉系统的研究方向。

        该综述尝试从两个角度将视觉中不同任务中的注意力机制连接成一个整体——从注意力机制本身出发，对整个领域进行了系统地总结归纳，并给出了未来潜在的研究方向。

        注意力机制可以理解为，计算机视觉系统在模拟人类视觉系统中可以迅速高效地关注到重点区域的特性。对于人类来说，当面对复杂场景的时候，我们可以迅速关注到重点区域，并处理这些区域。对于视觉系统，上述过程可以抽象成下面的式子：