weixin_43684570的博客

由于大规模预训练模型的兴起，如Bert，它确实有很不错的表现能力。然而，在实际应用中Bert规模太大，在推理时计算复杂度太高，往往需要很长的时间，因此需要设计一种自适应推理模型。

论文：https://arxiv.org/abs/2103.13258 code: GitHub - changlin31/DS-Net: (CVPR 2021, Oral) Dynamic Slimmable Network 最近动态剪枝和动态网络展现了在动态推理中有希望的潜能，其中动态剪枝技术是根据不同的输入动态修剪卷积核，然而这种离散模式是不适合在硬件上进行计算的，这就导致了理论分析和实际计算的巨大差距。 因此作者提出了Dynamic Slimmable Network,动态可精简网络(Dyna