qgh1223的博客

本文给出一种简单且高效的方法以内存高效方式改善持续测试时适应（TTA）算法。TTA任务可能需要在有限内存的边缘设备上执行，因此减少内存是至关重要的且已经被先前TTA研究忽略。另外长期的适应常常会导致灾难性遗忘和错误累计。本文从两个角度解决这个问题：1. 使用轻量化元网络，将冻结的原始网络适应到目标域。新的架构通过减少需要后向传播的中间激活尺寸最小化内存消耗。2. 自蒸馏正则项控制元网络的输出与冻结原始网络输出不会显著偏差，以实现保留原始预训练知识。

定义PxP(x)Px是从分布集合P\mathbb{P}P采样的数据分布，P0P_{0}P0​是训练分布。假定分布P∼PP∼P与P0P_{0}P0​相同或偏离较多。神经网络模型fθf_{\theta}fθ​在训练集上以θ0min⁡θ∈ΘEx∼P0xℓfθxcxθ0​minθ∈Θ​Ex∼P0​x​ℓfθ​xcx))]方式预训练。损失的一个例子是交叉熵损失。θtOpt。