论文阅读:Making Classification Competitive for Deep Metric Learning

本文探讨了度量学习中标准方法的局限性,如样本局部关系信息的不足,及如何通过移除bias和L2正则化改进softmax交叉熵损失,使其更适用于proxy-based度量学习。此外,还介绍了一系列技巧,使分类网络在度量学习任务上达到顶尖水平。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

论文地址:https://arxiv.org/pdf/1811.12649.pdf

现有方法的问题

**1.**标准的度量学习方法通过样本的局部关系来学习数据分布。比如建立pairs或者triplets。这种方法的核心问题时需要保证局部关系的信息丰富程度合理。例如,太难的negative pair会使训练不稳定,而太容易的则几乎没有loss不能更新网络。Semi-hard sampling和Batch hard sampling 都是不错的解决方法。但是Batch hard sampling要求batch size足够大,当batch size不够大时性能会退化。

论文亮点

**1.**第三部分论证了在移除bias,并且将之前层的输出与权重L2正则化之后,softmax的交叉熵损失相当于proxy-based的度量学习损失。
**2.**随后使用了一些tricks使得分类网络在度量学习上取得了state-of-the-art的结果。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值