Focal loss简易版理解与实现

关注

原创最新推荐文章于 2026-09-06 09:26:58 发布 915 阅读 AI 写同款· GEO 优化 ›

Focal Loss for Dense Object Detection论文和代码理解论文地址:https://arxiv.org/pdf/1708.02002.pdf 参考https://www.aiuai.cn/aifarm636.html 专业术语: hard examples:难区分样本 easy examples:易区分样本前言：目标识别有两大经典结构，第一类是以faster rcnn为代表的两级识别方法，这种结构的第一级专注于proposal... 阅读详情

paper: Focal Loss for Dense Object Detection
主要是解决class imbalance
two stage的detector，会有候选的region，而one stage的detector会存在大量的容易分类的背景，这些很容易分类的背景会造成一定程度的训练浪费。

focal loss解决class imbalance，同时降低容易分类的weight，使训练更集中到难分类的上面

把cross entropy的概率化简成pt
在这里插入图片描述

解决class imbalance

In practice alpha may be set by inverse class frequency
or treated as a hyperparameter to set by cross validation.

在这里插入图片描述
降低容易分类的weight，可以看出pt越大，比如0.9，说明很容易区分了，gamma=2时，它的weight就会缩小100倍

将两者结合，既解决class imbalance，又降低容易区分的weight

实现中每个class定义一个alpha

logpt = F.log_softmax(inputs,dim=1)
logpt = logpt.gather(1, target)
logpt = logpt.view(-1)

pt = logpt.exp()
at = alpha.gather(0, target.view(-1))
logpt = logpt * at

loss = -1 * (1-pt) ** gamma * logpt
#return loss.sum() or loss.mean()