Few-Shot Image Recognition by Predicting Parameters from Activations

本文基于神经网络中同一类别倒数层的激活值和最后的全连接softmax层的参数有密切的关系，通过训练一个参数预测器，使得在大量数据集中预训练过的网络可以通过直接从激活值预测参数的方式将模型映射到只有少量样本的测试数据集中。作者希望模型可以在少样本和大量样本的情况下均有良好的表现。

作者通过使用t-SNE对激活值的期望${\bar{a}}_y$(左)和全连接层的参数$w_y$(右)进行了可视化，同一颜色和形状的点表示同一种类别，形状相同的属于同一大类，可以发现同一类别的激活值在空间分布上是聚集在一起的。在最后的全连接层中，对应类别的$w_y\cdot a_y$, $forall{a}_y\in A_y$ , Ay={ a(x)∣x∈Dlarge∪Dfew,Y(x)=y}A_y = \{a(x) | x\in D_{large} \cup D_{few}, Y(x) = y\}Ay​={ a(x)∣x∈Dlarge​∪Dfew​,Y(x)=y}（a(x)表示样本x的激活值）越大，分类的效果越好。所以$w_y$的分布应该与${\bar{a}}_y$的分布越接近越好，以便使內积最大。这个结果说明在一个好的特征提取的情况下是存在一个类别无关的从激活值到参数的映射，也就是要训练的参数预测器$\varphi$

模型

模型在大量的数据集中进行训练，由于激活值和参数在各自的空间中具有相似相似的局部和全局结构，所以在$C_{few}$的类别上应该有比较好的泛化能力。

1. 预测器

通过在大量数据集上最小化分类损失学习预测器$\varphi$
$$\mathcal{L}=\sum _{(y,x)\in D_{large}}[-$$