SynapseML 中 LightGBM 算法实战指南：分类、排序与回归-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00030/article/details/148506385

SynapseML 中 LightGBM 算法实战指南：分类、排序与回归

SynapseML microsoft/SynapseML: 是一个开源的机器学习框架，用于构建和部署人工智能应用。它提供了丰富的机器学习算法和工具，可以帮助开发者快速构建 AI 应用。特点包括易于使用、高性能、支持多种机器学习算法等。项目地址: https://gitcode.com/gh_mirrors/sy/SynapseML

LightGBM 简介

LightGBM 是由微软开发的一款开源、分布式、高性能的梯度提升框架（GBDT、GBRT、GBM 或 MART）。该框架专注于创建高质量且支持 GPU 加速的决策树算法，广泛应用于排序、分类等多种机器学习任务。

LightGBM 核心优势

卓越性能表现
- 在 Higgs 数据集上的测试表明，LightGBM 比 SparkML 快 10-30%，AUC 指标提升 15%
- 支持多机并行训练，在特定场景下可实现线性加速
丰富功能特性
- 提供大量可调参数，支持决策树系统深度定制
- 支持新型问题建模，如分位数回归
- 模型可集成到现有 SparkML 流水线中
多平台支持
- 可在 Spark、PySpark 和 SparklyR 环境中运行

三大核心组件

LightGBMClassifier：用于构建分类模型
LightGBMRegressor：用于构建回归模型
LightGBMRanker：用于构建排序模型

分类模型实战：企业破产预测

数据准备

我们使用企业破产预测数据集，首先加载并检查数据：

df = spark.read.format("csv")\
    .option("header", True)\
    .option("inferSchema", True)\
    .load("company_bankruptcy_prediction_data.csv")

print("记录数:", df.count())
df.printSchema()

数据预处理

划分训练测试集

train, test = df.randomSplit([0.85, 0.15], seed=1)

特征向量化

from pyspark.ml.feature import VectorAssembler

feature_cols = df.columns[1:]
featurizer = VectorAssembler(inputCols=feature_cols, outputCol="features")
train_data = featurizer.transform(train)["Bankrupt?", "features"]
test_data = featurizer.transform(test)["Bankrupt?", "features"]

检查数据平衡性

display(train_data.groupBy("Bankrupt?").count())

模型训练与评估

构建分类器

from synapse.ml.lightgbm import LightGBMClassifier

model = LightGBMClassifier(
    objective="binary", 
    featuresCol="features", 
    labelCol="Bankrupt?", 
    isUnbalance=True
)
model = model.fit(train_data)

特征重要性分析

import pandas as pd
import matplotlib.pyplot as plt

feature_importances = model.getFeatureImportances()
fi = pd.Series(feature_importances, index=feature_cols)
fi = fi.sort_values(ascending=True)

plt.barh(range(len(fi)), fi.values, tick_label=fi.index)
plt.xlabel("重要性")
plt.ylabel("特征")
plt.show()

模型评估

from synapse.ml.train import ComputeModelStatistics

predictions = model.transform(test_data)
metrics = ComputeModelStatistics(
    evaluationMetric="classification",
    labelCol="Bankrupt?",
    scoredLabelsCol="prediction"
).transform(predictions)
display(metrics)

回归模型实战：分位数回归

数据加载与处理

triazines = spark.read.format("libsvm")\
    .load("triazines.scale.svmlight")

train, test = triazines.randomSplit([0.85, 0.15], seed=1)

模型训练与预测

构建回归器

from synapse.ml.lightgbm import LightGBMRegressor

model = LightGBMRegressor(
    objective="quantile", 
    alpha=0.2, 
    learningRate=0.3, 
    numLeaves=31
).fit(train)

模型评估

from synapse.ml.train import ComputeModelStatistics

scoredData = model.transform(test)
metrics = ComputeModelStatistics(
    evaluationMetric="regression",
    labelCol="label",
    scoresCol="prediction"
).transform(scoredData)
display(metrics)

排序模型实战

数据准备

df = spark.read.format("parquet")\
    .load("lightGBMRanker_train.parquet")

模型训练

from synapse.ml.lightgbm import LightGBMRanker

lgbm_ranker = LightGBMRanker(
    labelCol="labels",
    featuresCol="features",
    groupCol="query",
    predictionCol="preds",
    numLeaves=32,
    numIterations=200,
    evalAt=[1, 3, 5],
    metric="ndcg"
)
model = lgbm_ranker.fit(df)

预测与评估

test_data = spark.read.format("parquet")\
    .load("lightGBMRanker_test.parquet")
predictions = model.transform(test_data)
predictions.limit(10).toPandas()

最佳实践建议

参数调优：LightGBM 提供了丰富的参数选项，建议重点关注：
- numLeaves：控制模型复杂度
- learningRate：影响收敛速度
- maxDepth：限制树的最大深度
数据预处理：
- 分类特征建议进行独热编码
- 对缺失值进行适当处理
- 对于不平衡数据设置isUnbalance参数
模型部署：
- 使用saveNativeModel保存原生模型便于快速部署
- 考虑使用FeatureShapCol获取特征重要性
性能优化：
- 合理设置numIterations避免过拟合
- 对于大数据集使用repartitionByGroupingColumn提高并行效率