Focal Loss损失函数

一、交叉熵损失函数原理

1.信息量

信息的定义是用来消除随机不确定性的东西。也就是说衡量信息的大小是看信息消除不确定性东西的程度。信息量的大小与信息发生的概率成反比。

设某一时间发生的概率为P(x)，其信息量表示为：

$$I(x)=-log(P(x))$$
其中$I(x)$表示信息量，这里$log$表示以e为底的自然对数。

2.交叉熵

信息熵：也称为熵，用来表示所有信息量的期望。

期望是试验中每次可能结果的概率乘以其结果的总和。
信息熵可以表示为（这里的$X$是一个离散型随机变量）：
H ( X ) = − ∑ i = 1 n P ( x i ) l o g ( P ( x i ) ) ( X = x 1 , x 2 , x 3 . . . , x n ) H(X)=-\sum_{i=1}^n P(x_i)log(P(x_i)) (X=x_1,x_2,x_3...,x_n) H(X)=−i=1∑n​P(xi​)log(P(xi​))(X=x1​,x2​,x