focal loss:
loss = -at(1-pt)^γ * log(pt)
cross entropy = -log(pt)
调制因子:
-at(1-pt)^γ
at为正负样本比例,当为正样本时,at等于1-正负样本比例,此时,正样本偏少,负样本居多,正负样本比例小于0.5,1-正负样本比>0.5,则正样本权重较大;而负样本时,则at为正负样本比例,<0.5,则负样本权重相对较小
(1-pt)^γ
当为正样本时,pt=prediction,此时,如果prediction越大,则1-pt越小,为易分类样本,加上γ次幂后,权重越小;反之,当prediction越小,则1-pt越大,和真实标签的差距越大,为难分类样本,加上γ次幂后,权重相对越大
当为负样本时,pt=1-prediction,此时,(1-pt)^ γ 就等于 (prediction)^γ ,当prediction越大时,说明与真实标签(负)的差距越大,为难分类样本,则调制因子会越大。当prediction越小时同理。
focal loss
于 2022-10-17 10:40:28 首次发布