- 博客(3)
- 收藏
- 关注
RSS订阅原创 Resource Efficient Domain Adaptation论文阅读笔记
核心矛盾迁移能力 vs 计算效率的权衡设计技术本质解决什么问题类比联想将顶层分类器的迁移知识蒸馏到早期出口浅层网络迁移能力弱类似教师-学生模型，但针对多出口架构通过预测一致性动态控制蒸馏强度避免对"简单样本"过度蒸馏类似课程学习(Curriculum Learning)的权重分配但是监督学习的动态计算策略直接迁移到DA场景时失效当领域差距在一定范围内时，更深的网络可以提高准确性，同时增强适应模块带来的性能增益当领域差异减小时，较浅的网络就足以在相同的目标域上达到相似的精度。
2025-04-14 10:35:36
640
1
原创 Knowledge Distillation for BERT Unsupervised Domain Adaptation论文笔记
(AAD),with。
2025-04-09 21:30:45
984
1
原创 Reinforced Cross-Domain Knowledge Distillation on Time Series Data论文笔记
Unsupervised Domain Adaption解释Unsupervised Domain Adaption (UDA)及domain shift介绍-优快云博客源域上训练的模型迁移到目标域上，但由于源域和目标域的数据分布不同，源域和目标域不是完全对齐的。需要找到某种变换，将源域和目标域映射到同一空间，然后在该空间内使用源域数据进行模型训练，这样就能使得训练好的模型可以完美的迁移到目标域了最小化域间差异、域不变特征、对抗网络时间序列的域偏移问题。
2025-04-02 09:35:21
817
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人