动态卷积阅读笔记

1.DY-CNNs

• 文章：Dynamic Convolution: Attention over Convolution Kernels(CVPR2020)
• 链接：https://arxiv.org/abs/1912.03458v2
• 核心思想：
  提高网络性能的同时平衡计算负担。采用注意力机制聚合不同的卷积核，从而在不增加网络deep与wide的基础上提高性能。
• 动态卷积原理：
  卷积与本文中的动态卷积公式分别如下：
  
  
  因而本文的重点在于不同核的产生训练，与注意力机制权重的形成
• attention模块原理
  attention权重产生自输入图像，因而计算整体可视为非线性运算，表示能力更强。见下图：
  
• 其余训练中的优化设置：
  1.令注意力权重和为1，从而减小训练空间
  
  2.优化softmax函数，使其在早期能够更好的优化所有的核