【Open Set Recognition】Open Set Learning with Counterfactual Images in ECCV 2018 个人理解

一、简介

题目： Open Set Learning with Counterfactual Images
会议： ECCV 2018
任务： 开放集识别（Open Set Recognition, OSR），要求模型能够正确识别训练期间见过的类（已知类），同时能检测或拒绝没见过的类（未知类）。换句话说就是将测试集中属于已知类的样本正确分类，将属于未知类的样本（可能来自多个未知类）统一归为一个额外的类。
Idea：
（1）使用编解码生成对抗网络（Encoder-Decoder Generative Adversarial Network, Encoder-Decoder GAN）生成一些反事实样本（Counterfactual Images）使它们处于已知类和未知类的边界之间，这些反事实样本根据已知类生成，与已知类相似，但不属于已知类；
（2）使用训练集样本（来自K个已知类）和这些反事实样本（作为第K+1类）训练分类器，使分类器具有OSR能力。

图中，$\bullet$为已知类样本，$\times$为反事实样本，$+$为未知类样本。

二、详情

1. 分类器训练

传统的分类器训练操作，以交叉熵（Cross-Entropy, CE）损失在训练集上拟合卷积神经网络（Convolutional Neural Network, CNN）分类器，记为$C_K$，其中$K$是已知类的类别数量。

2. 生成模型训练

Encoder-Decoder GAN模型主要包括三个组件：编码器$E(x)$、生成器$G(z)$、判别器$D$。

判别器$D$的目的是将真样本和生成的假样本区分开来，以如下带梯度惩罚的Wasserstein critic为损失：

其中，$D$识别出$G(E(x))$为假时$D(G(E(x)))=0$，所以希望$D(G(E(x)))$尽可能小；D识别出$x$为真时$D(x)=1$，所以希望$-D(x)$尽可能小；$P(D)=\lambda (\Vert {\nabla }_{\hat{x}}D(\hat{x}){\Vert }_2-1)$，即希望$\Vert {\nabla }_{\hat{x}}D(\hat{x}){\Vert }_2$尽可能接近1，它被用来解决GAN中的参数二值化和训练难调节两大问题。

编码器和生成器（或称解码器）的目的是使生成的假样本尽可能接近真实样本，$E(x)$和$G(z)$被联合训练，损失如下：

其中，$\Vert x-G(E(x)){\Vert }_1$表示生成样本$G(E(x))$和真实样本$x$的接近程度，希望其尽可能小；$D$识别出$G(E(x))$为假时$D(G(E(x)))=0$，否则为$1$，为让$D$信以为真，则希望$-D(G(E(x)))$尽可能小。

3. 反事实样本生成

该部分的目的是生成反事实样本，使其与真实（已知类）样本相似却不属于已知类。

在介绍其方法之前需明确一个假设：如果一个样本喂入分类器后，其SoftMax输出中最大的概率值（或称置信度）越低，则该样本越可能属于未知类。

于是，在使用训练好的Encoder-Decoder GAN模型生成反事实样本时，可优化如下目标函数：

需要注意的是，这是优化$z$的过程，$E(x)$和$G(z)$保持不变。其中，第一项的目的是使$z$不要发生过大的变化，由此保证所生成的反事实样本与真实样本相似；第二项的目的是使训练好的分类器$C_K$的SoftMax输出中最高的概率值尽可能低，即希望在已知类上训练好的分类器$C_K$对生成的反事实样本$G(z)$的置信尽可能低，由此保证所生成的反事实样本不属于已知类。

4. 新的分类器训练

传统的分类器训练操作，与1. 分类器训练不同的是，这里使用原训练集样本（来自K个已知类）和在3. 反事实样本生成中生成的反事实样本（作为第K+1类）训练分类器。仍以CE为损失，拟合出的新的分类器记为$C_{K+1}$。

这样当测试集中出现训练期间没见过的类的样本时，$C_{K+1}$会分配更大的值给SoftMax中第$K+1$个值，由此实现OSR。