13GBDT特征交叉

GBDT特征交叉

学习目标

• 知道如何使用GBDT进行特征交叉

1. GBDT特征衍生简介

在风控领域发展过程中，使用最多的方法是逻辑回归，逻辑回归使用了sigmoid变换将函数值映射到[0,1]区间，映射后的函数值就是对一个人违约概率的预估值。逻辑回归同样属于广义线性模型，容易并行化，可以轻松处理上亿条数据，但是学习能力十分有限，需要大量的特征工程来增加模型的学习能力。

将连续特征离散化，并对离散化的特征进行one-hot编码，最后对特征进行多阶的 特征组合 ，也是特征衍生的常用手段。人工特征组合存在几个难题：

• 不知道连续变量切分点如何选取
• 不知道离散化为多少份最为合理
• 不知道选择哪些特征交叉会对模型有帮助，而交叉多少阶也没有明确的答案

一般都是按照经验，不断尝试一些组合，然后根据时间外样本集评估、选择适当的参数。

使用GBDT编码可以解决大部分的问题：

• 确定切分点不再是凭主观经验，而是根据均方差减小，客观地选取切分点和份数
• 每棵决策树从根节点到叶节点的路径，会经过不同的特征，此路径就是特征组合，而且包含二阶、三阶甚至更多。

离散的箱数主要由树的深度决定。树的深度仍然是一个超参数，需要通过测试集进行调整。我们可以将GBDT的输出作为评分卡模型中的部分独立特征。

2. GBDT+LR

可以使用LightGBM模型对原始训练数据进行训练，得到一个分类器。LightGBM模型的效果越好，对后续模型融合的帮助越大。

与常规模型融合方法不一样的是，LightGBM模型训练结束后，输出的并不是预测的概率值，而是把每个样本所落在的叶节点位置记为1，这样，就构造出了每个样本新的特征，特征的维度取决于LightGBM模型树的个数。

因为决策树的互斥性，每个样本只会落在树上的一个节点，所以在一个具有n个弱分类器、共m个叶节点的LightGBM模型中，每一条训练数据都会被转换为1×m维稀疏向量，且有n个元素为1，其余m-n个元素全为0

上图中红色和蓝色为通过GBDT模型学习得到的两棵树。假设x为一条输入样本，遍历两棵树后，x样本分别落到两棵树的叶节点上，每个叶节点对应衍生出的交叉特征中的一个维度。由于树的每条路径，是通过最小化均方差等方法最终分割出来的有区分性的路径，根据该路径得到的交叉特征，可以起到不错的效果。 新的特征构造完成后，接下来就要与原始特征一起送入逻辑回归中进行最终的训练

• 由于弱分类器个数、叶节点个数的影响，可能会导致新的特征维度过大
• 在实际建模的过程中，可能会使用PSI和树模型的特征重要性对交叉特征进行筛选。

3. 案例

import lightgbm as lgb
import random
import pandas as pd
import numpy as np
from