一 离线、在线评价指标
1.1 LogLoss对数损失
-
熵
熵的主要作用是告诉我们 最优编码信息方案的理论下界(存储空间),以及度量数据的信息量的一种方式。理解了熵,我们就知道有多少信息蕴含在数据之中,现在我们就可以计算当我们 用一个带参数的概率分布来近似替代原始数据分布的时候,到底损失了多少信息。 -
交叉熵
-
KL散度(相对熵)
上式中 代表观察样本的真实分布概率,
熵
熵的主要作用是告诉我们 最优编码信息方案的理论下界(存储空间),以及度量数据的信息量的一种方式。理解了熵,我们就知道有多少信息蕴含在数据之中,现在我们就可以计算当我们 用一个带参数的概率分布来近似替代原始数据分布的时候,到底损失了多少信息。
交叉熵
KL散度(相对熵)
上式中 代表观察样本的真实分布概率,