不一样的网络结构——CliqueNet算法

最新推荐文章于 2025-07-04 12:08:04 发布

原创

最新推荐文章于 2025-07-04 12:08:04 发布 · 1w 阅读

16 ·

CC 4.0 BY-SA版权

CliqueNet是一种新型卷积神经网络结构，它通过交替更新的群集层最大化信息流和反馈机制，提高了特征利用率。网络设计中，每个层既是其他层的输入，也是输出。CliqueNet在减少参数数量的同时，保持了良好的性能，特别是在CIFAR和ImageNet数据集上的实验表明，其在减少错误率方面表现优越。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

论文：Convolutional Neural Networks with Alternately Updated Clique
论文链接：https://arxiv.org/abs/1802.10419
代码链接：https://github.com/iboing/CliqueNet

这篇文章是CVPR2018的oral，提出了一个新的网络结构，旨在进一步提高网络特征的利用率。该网络的思想是：在一个block中，每一层即是其他层的输入，也是其他层的输出。如何做到在一个block中每一层即是其他层的输入，又是其他层的输出？原文表述如下：Concretely, the several previous layers are concatenated to update the next layer, after which, the newly updated layer is concatenated to re-update the previous layer, so that information flow and feedback mechanism can be maximized. 后面会详细介绍。

Figure1是一个包含4个网络层的block示意图，unfold的形式结合后面的Table1和公式1会更容易理解。两个概念：一个是block，一个block可以包含多个stage；另一个是stage，表示参数更新的不同阶段。Figure1中一个block包含两个stage，stage-I是首次更新，stage-II是第二次更新。熟悉DenseNet网络结构的同学应该可以看出Stage-I的操作和DenseNet是一样的，也就是说前面层的输出concate在一起作为当前层的输入。Stage-II的输入则可以从公式1和Table1看出规律：其他层最新的输出。