交叉熵损失与极大似然估计

提升树Boosting Tree算法实例详解_程大海的博客-优快云博客

从提升树Boosting Tree过度到梯度提升Gradient Boosting_程大海的博客-优快云博客

GBDT梯度提升之回归算法个人理解_程大海的博客-优快云博客_梯度回归算法

GBDT梯度提升之二分类算法个人理解_程大海的博客-优快云博客_gbdt二分类

GBDT梯度提升之多分类算法个人理解_程大海的博客-优快云博客_gbdt可以多分类吗

XGBoost算法个人理解_程大海的博客-优快云博客_xgboost 叶子节点权重

交叉熵损失与极大似然估计_程大海的博客-优快云博客_极大似然估计和交叉熵

使用泰勒展开解释梯度下降方法参数更新过程_程大海的博客-优快云博客

AdaBoost算法实例详解_程大海的博客-优快云博客_adaboost算法实例 

---

        在训练分类模型时，通常使用交叉熵损失函数来定义模型的的预测概率与样本真实概率之间的差异。

二分类

1、二分类损失函数如下：

其中是样本的真实概率标签0或1，是Sigmoid函数的计算结果，是样本的预测概率：

是学习到的参数模型。

2、由极大似然估计推导出二分类损失函数：

计算参数使得取最大值。

对上式进行对数变换，将乘法转换为加法：

对上式取负号，将求最大值转换为求最小值，从而就可以用梯度下降等优化方法来求解。

这也就是上面提到的二分类损失函数。

多分类

1、多分类损失函数如下：

其中，是样本的真实概率标签0或1，是softmax函数的计算结果，softmax函数将学习到的多个线性模型转换为对应分类的概率，每个对应于一个分类类别，所以是样本被预测为第个分类的概率：

2、由极大似然估计推导出多分类损失函数：

计算参数使得取最大值。

对上式进行对数变换，将乘法转换为加法：

对上式取负号，将求最大值转换为求最小值，从而就可以用梯度下降等优化方法来求解。

这也就是上面提到的多分类损失函数。

多分类和多标签分类

多分类：一个样本只属于一个类别，可以直接使用softmax进行损失计算和训练模型

多标签分类：每个样本可能属于多个类别，softmax不适用于多标签分类，可以训练k(k为总类别数)个二分类模型，每次将一个类别作为正类，其余类别作为负类，训练一个二分类器，分别预测样本属于第k类别的结果，类似于One-vs-Rest训练方法。

参考：深入理解GBDT多分类算法

极大似然估计详解