- 博客(10)
- 收藏
- 关注
RSS订阅原创 CrossKD学习报告
综合论文实验，可以得到以下几个主要结论：（1）CrossKD 的性能提升并不依赖单一接入位置。不同iii均能明显提升 Student，而i3i=3i3效果最佳，说明 CrossKD 的主要收益来自 cross-head distillation 机制本身，而不是某个偶然选定的特征层。（2）CrossKD 相比直接 prediction mimicking 更稳定。无论 classification branch 还是 regression branch，CrossKD 都优于直接 LD；
2026-08-30 09:45:51
328
原创 AMFD学习总结
适合大模型的融合策略未必适合轻量学生。相比之下，传统融合特征蒸馏只有一个 Fusion MEA，因此只能生成一组针对教师 Fusion Feature 的通道信息，也更容易忽略两个原始模态各自保留的潜在有效知识。分别将教师 RGB 特征和 TIR 特征蒸馏到学生融合特征中，使学生能够根据自身网络容量形成独立的融合策略，同时避免原始模态信息在教师融合过程中被过早丢失。这样学生能够同时吸收两种模态中的有效信息，并在训练过程中形成更加适合自身网络容量的融合策略，而不是机械复制教师的融合方式。
2026-08-30 02:42:34
342
原创 Dis2DR
论文还指出，随着参与蒸馏的网络组成不断减少，训练过程会越来越接近“直接在不完整模态数据上 fine-tune 教师模型”，此时最终性能明显低于完整 Dis2DR，进一步说明了特权知识蒸馏的重要性。论文指出，与直接使用不完整模态数据继续 fine-tune 教师模型相比，固定教师模型并对学生进行知识蒸馏，可以在学生训练过程中提供更加稳定的监督，并减少模型在不完整输入下发生遗忘的问题。同时，在 Visual 单模态设置下，Dis2DR 得到 MAE 4.51、RMSE 5.88，也表现出较强的单模态适应能力。
2026-08-23 15:03:26
289
原创 MMD-LIF
给定配对 RGB 图像IVI_VIV和红外图像III_IIIStudent:fVBVIVfIBIIIStudent:fVfIBVIVBIIITeacher:fVBVIVfIBIII&=&=Teacher:fVfIBVIVBIIIBVBV：多模态学生中的 RGB Backbone；BIB。
2026-08-01 18:26:14
311
原创 FaCHD-RPSC
FaCHD-RPSC 是一种用于增量目标检测的解耦式跨头蒸馏方法，核心由FaCHD和RPSC两个模块组成。阶段模块作用第一阶段FaCHD通过双教师跨头蒸馏约束学生 ROI 特征，缓解检测头偏置对骨干网络的污染第二阶段RPSC通过语义漂移补偿后的 ROI 原型重训练分类头，缓解旧类类别边界漂移整体目标FaCHD-RPSC同时提升旧类保持能力和新类学习能力，减少灾难性遗忘。
2026-06-14 03:32:50
336
原创 CRD：Contrastive Representation Distillation
可以迁移 特征空间结构，远强于只蒸馏输出层的 KD能学习类间距离、类内紧凑度等几何结构Memory Bank 使负样本充足，效果接近 MoCo适用于各种蒸馏任务：CNN → CNN多教师蒸馏跨模态蒸馏（图像 → 声音 / 深度）CRD 是目前实际蒸馏任务中表现最强的算法之一。
2026-05-13 17:21:39
379
原创 SpectralKD
1. 摘要2. 文章创新点3. 方法详解（含关键公式）4. SpectralKD 完整 PyTorch 实现5. 绘图脚本（频谱曲线可视化）6. 训练示例（可直接运行）7. 实验设置（如何复现论文实验）8. 论文实验结果 & 图表占位9. 实验结论10. requirements.txtSpectralKD 提出一种统一框架，用于：核心思想：使用SpectralKD方法后，在 ImageNet-1K（基准数据集） 上：用 FFT 分析特征图的频率组成，揭示 ViT 在不同层的“频谱能量分布结构”。CaiT、
2026-05-13 17:20:10
379
原创 【XKD: Cross-Modal Knowledge Distillation with Domain Alignment for Video Representation Learning】
提出了 XKD：一种新的自监督框架，用于从无标注视频中学习有意义的表示。提出了 XKD，一种新颖的自监督框架，用于通过跨模态知识蒸馏提升视频表示学习可以识别最值得迁移特征并最小化域差异，实现不同模态的对齐。
2025-12-20 14:34:51
774
原创 《Knowledge Distillation from A Stronger Teacher》学习报告
本文指出，由实验发现，旧的训练方式会使学生模型与较强的教师模型（尺寸更大，训练方式更先进）之间出现“灾难性的预测差异”。于是提出了对于使用强教师模型来训练学生模型提出的新方法——DIST。该方法主要创新于提出了基于关系的损失函数，其关注重心不再是与传统KD一样的“精确复刻”，而是更关注“预测关系是否保留”，达到宽松匹配的效果。最后文章通过大量实验得出结论：该方法简单有效，且在图像分类、检测、分割等多任务上超越了现有 SOTA KD 方法。
2025-11-29 16:39:33
578
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人