本文介绍了如何在pyspark环境中利用xgboost进行分布式机器学习训练。由于pyspark ML库中未内置xgboost，因此需要借助第三方解决方案。文中提到了参考资源和测试代码，包括集群提交测试和非网格搜索模式下模型的加载与保存，适用于spark 2.3及以上版本。
问题是这样的，如果我们想基于pyspark开发一个分布式机器训练平台，而xgboost是不可或缺的模型，但是pyspark ml中没有对应的API，这时候我们需要想办法解决它。
还可以参考：https://github.com/MachineLP/Spark-/tree/master/pyspark-xgboost
测试代码： （ (pyspark使用可以参考这个：https://blog.youkuaiyun.com/u014365862/article/details/87825398 )）
#!/usr/bin/env python
# -*- coding:utf8 -*-
"""
-------------------------------------------------
Description : pyspark测试
Author : liupeng
Date : 2019/7/23
-------------------------------------------------
"""
impo
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
