阅读笔记7——Focal Loss

原创

已于 2023-02-25 10:39:27 修改 · 651 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #机器学习 #人工智能

于 2023-02-22 22:50:21 首次发布

文章介绍了FocalLoss的提出背景，它旨在解决一阶物体检测算法如SSD和YOLO的精度问题，这些问题主要源于正负样本的不平衡。FocalLoss通过动态调整权重解决了这一问题，同时RetinaNet结构进一步验证了FocalLoss的有效性，它使用ResNet和FPN构建特征金字塔，包含分类和回归两个子网络，且不共享权重。

一、提出背景

当前一阶的物体检测算法，如SSD和YOLO等虽然实现了实时的速度，但精度始终无法与两阶的Faster RCNN相比。是什么阻碍了一阶算法的高精度呢？何凯明等人将其归咎于正、负样本的不平衡，并基于此提出了新的损失函数Focal Loss及网络结构RetinaNet，在与同期一阶网络速度相同的前提下，其检测精度比同期最优的二阶网络还要高。
为了解决一阶网络中样本的不均衡问题，何凯明等人首先改善了分类过程中的交叉熵函数，提出了可以动态调整权重的Focal Loss。

二、交叉熵损失

1. 标准交叉熵损失

标准的交叉熵函数，其形式如式（2-1）所示：
$−log(p)if(y=1)−log(1−p)otherwise(2-1)CE(p,y)=\left\{\begin{matrix} -log(p) & if(y=1) & \\ -log(1-p) & otherwise & \end{matrix}\right.\tag{2-1}$

公式中， $p$ 代表样本在该类别的预测概率， $y$ 代表样本标签。可以看出，当标签为1时， $p$ 越接近1，则损失越小；标签为0时， $p$ 越接近0，则损失越小，符合优化的方向。
为了方便表示，按照式（2-2）将 $p$ 标记为 $p_{t}$ ：
$pif(y=1)1−potherwise(2-2)p_{t}=\left\{\begin{matrix} p & if(y=1) & \\ 1-p & otherwise & \end{matrix}\right.\tag{2-2}$