Spark-MLlib的快速使用之四（梯度提升树GBT 分类）

最新推荐文章于 2024-08-21 15:24:40 发布

MLANDAI

最新推荐文章于 2024-08-21 15:24:40 发布

阅读量538

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习-spark

本文链接：https://blog.youkuaiyun.com/tbb_1984/article/details/84138943

本文介绍了Spark MLlib中梯度提升树（GBT）的使用，重点在于二进制分类。通过加载测试数据，利用GBT进行训练，并评估模型在测试集上的表现，展示了如何在Java中实现GBT分类。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

（1）描述

　梯度提升树（GBT）是决策树的集合。 GBT迭代地训练决策树以便使损失函数最小化。 spark.ml实现支持GBT用于二进制分类和回归，可以使用连续和分类特征。

（2）测试数据

1 153:5 154:63 155:197 181:20 182:254 183:230 184:24 209:20 210:254 211:254 212:48 237:20 238:254 239:255 240:48 265:20 266:254 267:254 268:57 293:20 294:254 295:254 296:108 321:16 322:239 323:254 324:143 350:178 351:254 352:143 378:178 379:254 380:143 406:178 407:254 408:162 434:178 435:254 436:240 462:113 463:254 464:240 490:83 491:254 492:245 493:31 518:79 519:254 520:246 521:38 547:214 548:254 549:150 575:144 576:241 577:8 603:144 604:240 605:2 631:144 632:254 633:82 659:230 660:247 661:40 687:168 688:209 689:31

（3）测试程序

public class JavaGradientBoostingClassificationExample {

public static void main(String[] args) {

// $example on$

SparkConf sparkConf = new SparkConf()

.setAppName("JavaGradientBoostedTreesClassificationExample").setMaster("local");

JavaSparkContext jsc = new JavaSparkCo