qiyue666的博客

我们凭经验发现logit表现更好，原因是softmax后得到的预测概率相对于相应的logit更加尖锐，这将导致过大或过小的调整项。对于某些头部类别，尽管样本足够，但与其他类别的高语义相似性和缺乏有区分度的特征将带来较差的准确率。Menon等人，2020）中使用的常见幂函数（1/x^n）不同，我们凭经验发现对数函数（1/ log(x + 1)）是一个更好的选择。图注：为了进一步证明QF的新函数形式是必要的，我们直观地在图2中展示了我们的QF与LDAM的比较。反之，困难的样本的DF趋于大。

Cost-Sensitive Learning和Re-Weightng是一回事Sigmoid Cross-Entropy Loss（ Sigmoid 交叉熵损失）在多分类任务中，Sigmoid 函数将每个类别视为独立的二分类任务，而不像 Softmax 函数那样将类别视为互斥的。Sigmoid 交叉熵损失的主要优点有两个：Sigmoid 函数不假设类别之间是互斥的，这使得它在处理现实世界中类别之间可能存在相似性的数据集时表现良好，尤其是在处理大量细粒度类别的情况下。

其中，Lback为主干网络的损失(主干网络选用经典的SSL算法FixMatch或RemixMatch，Lback旨在用训练集中的权重样本训练一个高质量的特征提取器)，最终推理时用只用ABC这个平衡的分类器来预测，而不用主干网络的不平衡分类器，即推理时不用上面的流程图中的Backbone Classifier！类比平衡问题都是试图在不平衡数据集上训练出一个在类别平衡的测试集中表现出的平均类别精度高（这里的精度指的不是整体的精确度，而是各类别精确度的平均值，即少数类也同等重要）的模型。（用来训练ABC的）

最小化交叉熵损失或均方误差损失，使得模型对于同一样本的两种不同数据增强的预测结果尽可能地接近。