机器学习 | 详解GBDT在分类场景中的应用原理与公式推导

本文始发于个人公众号：TechFlow，原创不易，求个关注

今天是机器学习专题的第31篇文章，我们一起继续来聊聊GBDT模型。

在上一篇文章当中，我们学习了GBDT这个模型在回归问题当中的原理。GBDT最大的特点就是对于损失函数的降低不是通过调整模型当中已有的参数实现的，若是通过训练新的CART决策树来逼近的。也就是说是通过增加参数而不是调整参数来逼近损失函数最低点。

如果对于这部分不是很理解的话，可以通过下方的链接回顾一下之前的内容：

机器学习 | 详解GBDT梯度提升树原理，看完再也不怕面试了

逻辑回归损失函数

在我们开始GBDT模型原理的讲解和推导之前，我们先来回顾一下逻辑回归当中的相关公式和概念。

首先，我们先来写出逻辑回归的预测函数：

$$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$

图像画出来是这样的，其中的$h_{\theta }(x)$表示表示了模型预测x这个样本属于类别1的概率。

在二分类问题当中，只有0和1两个类别， 两个类别的概率只和为1。所以我们可以得到$P(y=0|x;\theta )=1-h_{\theta }(x)$。

我们希望模型在y=0的时候，使得$1-h_{\theta }(x)$尽量大，否则则使得$h_{\theta }(x)$尽量大，我们用指数的形式把两者综合写出了它的损失函数L。

$$l(\theta )=-h_{\theta }(x{)}^y(1-h_{\theta }(x){)}^{1-y}$$

这个值涉及到指数，计算起来不太方便，所以我们会对它求对数进行简化。等式两边都取对数之后，可以得到：

$$L(\theta )=log(l(\theta ))=-\sum _{i=1}^N[y_i\log h_{\theta }(x_i)+(1-y_i)\log (1-h_{\theta }(x_i))]$$

这个就是逻辑回归损失函数的由来。

GBDT二分类

我们将GBDT模型应用在二分类的场景当中的原理其实和逻辑回归一样，只不过在逻辑回归当中$h_{\theta }(x)$是一个线性函数，而在GBDT当中，$h_{\theta }={\sum }_{m=1}^M$