专注人工智能，主攻CV

随着人工智能芯片的发展，神经网络推理速度的瓶颈不再是FLOPs或参数量，因为现代GPU可以很容易地进行计算能力较强的并行计算。相比之下，神经网络复杂的设计和较大的深度阻碍了它们的速度。在此背景下，华为诺亚提出了极简网络架构VanillaNet，在ImageNet数据集上，深度为6的网络即可取得76.36%的精度，深度达到13时便能取得83.1%的精度！如果能够将深度训练和重参数化合理地结合起来，就是模型压缩利器，大有文章可做，挖个坑~

总结轻量级网络设计思想

一方面，大量研究表明，多分支网络架构的性能普遍优于单分支架构；另一方面，相比多分支架构，单分支架构更有利于部署。那么有没有可能训练时采用多分支架构，而推理时使用单分支呢？私以为，Re-parameterization is All You Need！！！