Pikunikku的博客

需要了解的相关知识：注意力机制阐述：注意力机制（Attention Mechanism）源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。上述机制通常被称为注意力机制。人类视网膜不同的部位具有不同程度的信息处理能力，即敏锐度（Acuity），只有视网膜中央凹部位具有最强的敏锐度。为了合理利用有限的视觉信息处理资源，人类需要选择视觉区域中的特定部分，然后集中关注它。例如，人们在阅读时，通常只有少量要被读取的词会被关注和处理。综上，注意力机制

针对220项工作，讨论了现有主流方法（主要基于CNN）在各任务中有效的原因，对基本开放问题、挑战和未来方向的见解。对模型设计、数据集收集以及一些推广到其他领域的重要问题进行了展望，包括领域适应或迁移学习，并探索了未来一些有前途的研究方向。按网络结构，监督形式（有监督（常用）、半监督、若监督、无监督、自监督），学习范式（多任务（热点）/单任务），跨场景、跨域表现分类基于单列网络的方法比基于多列网络的方法表现更好，即更深的网络比更广的网络要好。最近的（2020年）Sota方法多采用了注意力机制，膨胀卷.