CVPR2025 论文精读《T-CIL: Temperature Scaling using Adversarial Perturbation for Calibration in Class-》

最新推荐文章于 2025-08-16 21:40:55 发布

原创

最新推荐文章于 2025-08-16 21:40:55 发布 · 909 阅读

24 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #计算机视觉 #神经网络 #深度学习

👉️关注公众号Tensor实验室，，第一时间获取大厂算法校招、社招信息、最新论文工作(大模型、具身智能、CV、扩散模型、多模态、自动驾驶、医疗影像、AIGC、遥感等方向的论文解读)、最新AI发展趋势和学习资料等，赶快加入一起学习吧！

CVPR 2025 论文和开源项目合集请戳 CVPR2025-PapersWithCode

AI垂直方向交流群和论文投稿群已成立！

👨‍🔧👩‍🔧👨‍🔬👩‍🔬👨‍🚀👨‍🚒🕵️‍: 欢迎进群 | Welcome

目前已经开设的AI细分垂直方向交流群包括但不限于：大模型、多模态、具身智能、CV、扩散模型、目标检测、图像分割、目标跟踪、医学影像、遥感、3DGS、Mamba、NeRF、Transformer、GAN、异常检测/缺陷检测、SLAM、人脸检测&识别、OCR、NAS、Re-ID、超分辨率、强化学习、3D重建、姿态估计、自动驾驶、活体检测、深度估计、去噪、显著性目标检测、车道线检测、模型剪枝&压缩、去雾、去雨、行为识别、视频理解、图像融合、图像检索等。

可以添加微信小助手微信：Tensor333或Tensor555，请备注：研究方向+地区+学校/公司名称+昵称！如：大模型+北京+北航+小北；一定要根据格式申请，可以拉你进对应的交流群。

如果目前方向未定的的同学，可以先加入大群（大群和垂直方向群可以同时加入）。可以添加微信小助手微信：Tensor333或Tensor555，请备注：方向未定+地区+学校/公司名称+昵称！如：方向未定+北京+北航+小北；

如果想进顶刊顶会论文投稿和交流群的同学。可以添加微信小助手微信：Tensor333或Tensor555，请备注：顶刊顶会名称+地区+学校/公司名称+昵称！如：CVPR+北京+北航+小北；

Authors: Seong-Hyeon Hwang, Minsu Kim, Steven Euijong Whang

Paper: https://arxiv.org/abs/2503.22163

Code:

Home:

简介：我们研究类别增量学习中的模型置信度校准，其中模型从包含不同类别集的连续任务中学习。虽然现有研究主要关注准确率，但维持校准后的置信度却在很大程度上被忽视了。遗憾的是，大多数事后校准技术并非设计用于处理类别增量学习中常见的旧任务数据有限记忆的情况，因为保留足够的验证集并不切实际。因此，我们提出了 T-CIL，这是一种新颖的类别增量学习温度缩放方法，无需旧任务的验证集，它利用来自记忆的对抗性扰动样本。直接使用样本不足以进行温度优化，因为它们已经用于训练。T-CIL 的核心思想是通过基于特征距离调整扰动方向，使旧任务的样本扰动强度大于新任务的样本扰动强度，并使用新任务的验证集确定单个扰动幅度。这种策略使得从新任务计算出的扰动幅度也适用于旧任务，充分利用了旧任务准确率低于新任务的趋势。我们通过实证研究证明，T-CIL 在真实数据集上的校准性能显著优于各种基线方法，并且可以与现有的类增量学习技术集成，且对准确率的影响极小。

一、现存问题🌟

这篇论文试图解决在类别增量学习（Class-Incremental Learning, CIL）场景下模型置信度校准（confidence calibration）的问题。具体来说，论文关注的挑战包括：

模型置信度与实际准确率不匹配：现代深度神经网络在预测时往往会表现出过度自信，即模型的置信度水平高于其实际准确率。这种不匹配使得模型的预测在决策制定中不可靠，尤其在自动驾驶和医学诊断等对可靠性要求极高的实际应用中可能导致严重后果。
类别增量学习中的校准难题：在类别增量学习中，模型需要连续适应新类别，同时保留对之前学习类别的性能。现有的后处理校准技术（post-hoc calibration techniques）大多不适合这种场景，因为它们通常需要一个包含所有类别数据的验证集来调整模型的置信度，而在类别增量学习中，由于内存限制和隐私问题，保留足够的旧任务数据作为验证集是不切实际的。
缺乏针对旧任务的验证集：在类别增量学习中，通常假设只有新任务的数据可以用于验证，而旧任务的数据无法用于验证。这导致传统的校准方法无法直接应用于旧任务，因为它们无法准确地调整旧任务的置信度。
为了解决这些问题，论文提出了T-CIL（Temperature Scaling using Adversarial Perturbation for Calibration in Class-Incremental Learning），这是一种新型的温度缩放方法，它利用