LCA-on-the-Line: Benchmarking Out-of-Distribution Generalization with Class Taxonomies

  一. background/Motivation

  关于预测无标注OOD的performance现有的方法是”effective robustness“，根本使用的就是内分布的准确率和OOD的准确率是相关的，但是他们的一个很明显的局限性就是他们只能预测要么VM要么VLM的表现，无法将他们统一起来，而且其实大部分都是基于image net训练的VM模型；其次他们对于OOD的数据分布偏移也很局限，实际上有些OOD的分布偏移并不明显，尤其是imagenet-v2.

  可以总结成下面这张图：

  

二. contribution

  1.首先有一个问题就是VM在ID的accuracy上表现得很好，但是面对OOD的performance表现的很差，反而VLM虽然在ID上的表现没有VM的好，但是VLM对OOD的预测准确率却比VM高很多。

  2.本论文提出的框架是”LCA-on-the-line“，旨在提出一种有效的，开销很小的，而且能够统一各种分布偏移以及VM和VLM模型。从上面的第一点可以看出来我们确实需要一种统一的度量方法。

    2.1 LCA distance：y (the ground-truth class) a