动态卷积阅读笔记

1.DY-CNNs

• 文章：Dynamic Convolution: Attention over Convolution Kernels(CVPR2020)
• 链接：https://arxiv.org/abs/1912.03458v2
• 核心思想：
  提高网络性能的同时平衡计算负担。采用注意力机制聚合不同的卷积核，从而在不增加网络deep与wide的基础上提高性能。
• 动态卷积原理：
  卷积与本文中的动态卷积公式分别如下：
  
  
  因而本文的重点在于不同核的产生训练，与注意力机制权重的形成
• attention模块原理
  attention权重产生自输入图像，因而计算整体可视为非线性运算，表示能力更强。见下图：
  
• 其余训练中的优化设置：
  1.令注意力权重和为1，从而减小训练空间
  
  2.优化softmax函数，使其在早期能够更好的优化所有的核
  
  • SENet 网络：
    
    

2.CondConv

• 文章：CondConv: Conditionally Parameterized Convolutions for Efficient Inference(NeurIPS 2019)
• 链接：https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1904.04971
• 原理：
  公式如下：
  
  本文将每个卷积核视为一个专家，此种算法结合了多个专家的综合意见而没有增加很多计算负担，个人认为是对这种方法一种非常适合写论文的解读。
  
  同样是权重赋值类算法，其权重产生方法为全局池化，全连接，sigmoid三步：
  

参考

【1】https://blog.youkuaiyun.com/weipf8/article/details/105756526/
【2】https://zhuanlan.zhihu.com/p/141868898