Continual All-in-One Adverse Weather Removalwith Knowledge Replay on a Unified NetworkStructure模型运行

在统一的网络结构上实现了具有知识回放功能的连续一体化恶劣天气消除

论文地址https://arxiv.org/pdf/2403.07292v1.pdf

代码地址GitHub - xiaojihh/CL_all-in-one

01摘要

        在实际应用中，恶劣天气引起的图像退化总是很复杂，并且随着不同天和季节的天气条件而变化。现实环境中的系统经常会遇到以前未观察到的恶劣天气条件。因此，实际上需要恶劣天气去除模型不断地从反映各种退化类型的增量收集的数据中学习。现有的针对单个或多个恶劣天气的恶劣天气去除方法主要是针对静态学习范式设计的，该范式假设可以在单阶段学习过程之前一次精细地收集要处理的所有类型的退化数据。因此，他们无法直接处理增量学习要求。为了解决这个问题，我们最早在更接近实际应用的环境中研究持续一体化的恶劣天气去除任务。具体来说，我们开发了一种新颖的持续学习框架，在统一的网络结构上具有有效的知识重播（KR）。所提出的 KR 技术配备了主成分投影和有效的知识蒸馏机制，专为一体化天气去除任务而定制。它考虑了图像恢复任务在持续学习中具有多次退化的特点，并且不同退化的知识可以在统一的网络结构中共享和积累。大量的实验结果证明了所提出的方法处理这一具有挑战性的任务的有效性，其性能与现有的专用或联合训练图像恢复方法具有竞争力。我们的代码可在 https://github.com/xiaojihh/CL_all-in-one 获取。