Predicting with Confidence on Unseen Distributions

1. Motivation / background

  之前的一篇论文“Are Labels Always Necessary for Classifier Accuracy Evaluation?”(这篇论文的方法简称是AutoEval)是通过分布之间的Frechet distance差异作为度量，这个差异作为X，输出是准确率的差异；这篇论文指出这个方法并不是最优的，所以实际上省流来说就是，他把这个指标给换了，其他的基本可以说不变。

  他们基于的指标是difference of confidences（DoC）

2. Introduction

  论文指出AutoEval对于自然图像的偏移的表现不好，而DoC能够同时编码base分布和之前未见过目标分布之间的不管是生成的还是自然的分布差异信息。然后将DoC作为“特征”得到一个回归模型来预测表现。

  整个网络的结构简单示意如下图：

   2.1. baseline

    本论文提到了一个观点“很多方法实际上比不过一些很简单的方法”，这里的AC基准就是这样的方法，很简单，但是仍然比较强。