论文笔记：主干网络——ResNeXt

Aggregated Residual Transformations for Deep Neural Networks

深度神经网络中的残差聚合变换

论文结构

摘要： 提出聚合变换的操作，及cardinality（分组卷积的组数）指标用于衡量模型复杂度，提出的ResNeXt多个任务超越ResNet。
1. Introduction： 介绍VGG、ResNet、Inception的优点，本文将各优点结合得到ResNeXt。
2. Related Work： 简洁多分支、分组卷积、模型压缩（提升性能、参数量没有提升）及模型集成。
3. Method： Template引入基础Building Block，重新思考全连接操作，提出Aggregated Transforms。
4. Implement Details： 介绍实验各参数设置。
5. Experiments： 4个实验设置及结果分析。

一、摘要核心

① 全文概况：本文提出一个简洁且高度可调节的神经网络结构，该网络通过反复堆叠Building Block实现，Building Block则通过聚集简洁的卷积模块来实现。

② 本文优点：该网络具有相同的、多分支的结构，并且对应的超参数非常少。

③ 本文提出一个与网络宽度和深度类似作用的参数，用来衡量网络大小，称之为Cardinality（基数）——the size of the set of transformations.

④ 本文结论：ImageNet-1K数据集上，不增加模型复杂度，增加Cardinality可以提升网络性能，同时发现增加cardinality比增加网络深度和宽度可以更好的提升网络模型的性能。

⑤ 本文成果

二、Aggregated Transformations 聚合变换

① 一个神经元的操作（论文中的3.2）

（1）
Splitting： x分解为D个元素，可以理解为低维嵌入。

Transforming：每个元素进行变换，乘wi进行缩放

Aggregating：对D个变换后的结果进行聚合（求和）

（2）Inception：