深度 | 蚂蚁金服DASFAA论文带你深入了解GBDT模型

2019独角兽企业重金招聘Python工程师标准>>>

小蚂蚁说：

 

2018年5月21日，国际顶级数据库会议DASFAA 2018（International Conference on Database Systems for Advanced Applications）在澳大利亚黄金海岸举办。

 

本文是蚂蚁金服录用于DASFAA的论文Unpack Local Model Interpretation for GBDT（作者：方文静、周俊、李小龙、朱其立）的简要介绍。

 

GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力（generalization)较强的算法，近些年更因为被用于搜索排序的机器学习模型而引起大家关注。

 

GBDT模型自被提出以来，一直在有监督的机器学习任务中扮演重要角色，在各种机器学习算法竞赛中数见不鲜，因此对其应用的算法业务中对模型结果解释的需求也日益增加。本文设计并解释了一种GBDT模型行之有效的局部解释性方案。

 

引言

 

GBDT(Gradient Boosting Decision Tree)模型自被提出以来，一直在有监督的机器学习任务中扮演重要角色，在各种机器学习算法竞赛中数见不鲜。GBDT是一系列决策树弱分类器的集成，将所有决策树的分值相加获得最终预测结果，由于这种集成方法的本质，GBDT在众多问题中具有较优的表现，因此吸引了研究者们对算法进行不断优化，出现不同的变式。树形模型虽然在诸多任务上取得比线性模型更好的效果，但线性模型的一大优势在于天然能提供特征重要性的评判，因此在一些需要模型解释的场景，树形模型的应用受到了局限。本文关注为GBDT模型及其各种变式，提供一种统一的局部解释方案，对每一个预测样本可以给出各个特征的贡献度，从而对模型预测结果进行归因。

 

 

下文是对蚂蚁金服在DASFAA的论文Unpack Local Model Interpretation for GBDT的介绍,论文链接：

https://link.springer.com/content/pdf/10.1007%2F978-3-319-91458-9_48.pdf

请将链接复制至浏览器中打开查看。

 

 

问题说明：

 

模型解释分为两类，一类是全局的解释性，衡量特征在模型中起的整体作用，另一类是局部的解释性，目的是对一个特定的预测条目，衡量该条样本预测分高的原因。

 

两类解释具有较大区别，以线性模型的解释为例，对于进行了归一化处理后的特征而言，最终的模型权重绝对值即为全局的特征重要性，因为权值越大该特征对最终分值影响越大，而对于一个取得高分的具体预测实例而言，可能在全局最重要的特征上，其分值较小，在该条样本的得分计算上并无多大贡献，因此对于线性模型单条样本的局部解释性，会使用权值乘以特征值来作为该维特征的贡献度，从而得到各个特征间的重要性排序。

转载于:https://my.oschina.net/u/3611008/blog/1818707