xgboost on yarn and xgboost4j-spark部署

最新推荐文章于 2025-04-21 09:54:05 发布
最新推荐文章于 2025-04-21 09:54:05 发布
阅读量5.1k 收藏 5
点赞数
分类专栏： 数据挖掘 文章标签： xgboost on yarn 部署 xgboost分布式部署 xgboost4j xgboost4j-spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/webzjuyujun/article/details/78553518
版权
本文详细介绍了如何在YARN上部署xgboost和xgboost4j-spark，包括安装、配置、环境变量设置、测试运行以及本地开发环境的搭建。关键步骤包括：选择兼容版本的Hadoop源码编译libhdfs，配置xgboost的config.mk，设置环境变量，以及使用dmlc-submit提交任务进行分布式训练。此外，还提到了xgboost4j-spark的Maven安装和Spark代码示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

参考:

http://blog.youkuaiyun.com/u010306433/article/details/51403894

 

注意点:

1.各个软件的版本(gcc/cmake)

2.选择相同版本hadoop源码,且libhdfs 要自己编译,参数加上 cmake -DGENERATED_JAVAH=/opt/jdk1.8.0_60 -DJAVA_HOME=/opt/jdk1.8.0_60 即可

3.xgboost编译:

config.mk文件中修改:

USE_HDFS = 1

HADOOP_HOME=/export/App/hadoop-2.7.4

HDFS_LIB_PATH=/data1/user/software/hadoop-2.7.4-src/hadoop-hdfs-project/hadoop-hdfs/src/target/usr/local/lib (新编译的libhdfs文件)

xgboost/dmlc-core/make 下面的config.mk配置也要修改:USE_HDFS = 1

4.环境变量:

export HADOOP_HOME=/export/App/hadoop-2.7.4

export LD_LIBRARY_PATH=/data1/user/software/hadoop-2.7.4-src/hadoop-hdfs-project/hadoop-hdfs/src/target/usr/local/lib:$LD_LIBRARY_PATH

export CLASSPATH=$CLASSPATH:`hadoop classpath --glob` #防止出现之类的错误(

最低0.47元/天 解锁文章
XGBoost Algorithm: Long May She Reign!
weixin_41697507的博客
04-13 684
XGBoost Algorithm: Long May She Reign! 统治世界的机器学习算法的新王子… 我还记得十五年前我第一份工作的第一天。 我刚完成研究生课程，并以分析师的身份加入了一家全球投资银行。 在我的第一天，我一直拉直领带，并试着记住我学过的一切。 与此同时，在内心深处，我想知道我是否对企业界足够好。 感觉到我的焦虑，我的老板微笑着说： “别担心！ 你唯一需要知道的就是回归模...
大数据领域分布式计算在金融行业的应用
最新发布
AI天才研究院
05-03 674
金融行业作为数据密集型领域，每天产生TB级别的交易数据、用户行为数据、市场行情数据。传统集中式架构在处理“数据规模指数级增长”“实时分析需求激增”“多源异构数据融合”三大挑战时，面临计算能力不足、存储成本高、扩展性差等问题。本文聚焦分布式计算技术（如Hadoop、Spark、Flink）在金融行业的落地实践，覆盖技术原理、算法实现、实战案例与未来趋势，为金融机构数据团队提供从架构设计到场景应用的完整参考。
xgboost调参指南
11-07
xgboost调参过程，介绍xgboost调参的详细步骤，以及代码示例。
xgboost(1.0) yarn（附CDH 5.14的个人心得）
rav009的专栏
09-05 426
个人心得（CDH5.14，心得是对下文转载步骤的补充）： CDH5.14的config.mk config.mk的配置要改成如下： USE_HDFS = 1 HDFS_LIB_PATH = /home/user/xgboost/xgboost-package/libhdfs/lib HADOOP_HOME = /opt/cloudera/parcels/CDH HADOOP_HDFS_HO...
XGBoost系列文章（八）：生态系统与工具链
Is code
03-06 1161
本文是XGBoost系列的第八篇，深入解析其生态系统与工业级工具链，涵盖API设计、分布式训练、可视化、模型部署、超参数调优等关键环节，提供可直接复用的代码模板和避坑指南。
xgboost学习
weixin_33695450的博客
06-30 182
1、原理 https://www.cnblogs.com/zhouxiaohui888/p/6008368.html 2、实战 xgboost中比较重要的参数介绍： （1）学习率：learning rate ：一般设置比较低，0.1以下 （2）tree： max_depth min_child_weight subsample colsample_bytree gamma （...
xgboost and xgboost4j
热门推荐
zhangweijiqn的专栏
11-18 1万+
XGBoost Scalable, Portable and Distributed Gradient Boosting (GBDT, GBRT or GBM) Library, for Python, R, Java, Scala, C++ and more. Runs on single machine, Hadoop, Spark, Flink and DataFlow 可扩展、
xgboost 在ubuntu上安装，并编译好jvm-packages
11-03
2017年11月2号晚上下载的最新版本的xgboost, ubuntu中编译好的，jvm packages编译好的，生成的jar包在jvm-packages下对应的target文件夹下
PySpark包依赖问题解决方案及实践
pop_xiaohao的专栏
08-09 3143
摘要： hadoop yarn调度pyspark在使用过程中，使用场景不一致，需要安装一些三方依赖，尤其在机器学习算法方面依赖许多科学包如numpy、pandas 、matlib等等，安装这些依赖是一个非常痛苦的过程，本章结合ti产品在私有化过程中依赖包及版本升级等为题进行简单介绍。 Spark on yarn分为client模式和cluster模式，在client模式下driver 会运行在提交节点上，该节点也可能不是yarn集群内部节点，这种方式可以根据自己的需要安装软件和依赖，以支撑spark app
大数据领域数据架构的智能旅游应用
AI天才研究院
04-21 1180
随着全域旅游战略推进，游客需求从“观光式”向“体验式”转变，旅游企业对数据驱动的精细化运营需求激增。多源旅游数据（用户行为、景区传感器、交通路况）的高效整合与治理；实时客流监控、个性化推荐等场景对数据处理时效性的要求；旅游数据价值挖掘（如用户画像、需求预测）的技术实现路径。第2章：解析智能旅游数据特征与大数据架构的适配性；第3章：拆解大数据架构核心组件（采集→存储→处理→分析）；第4章：数学模型（协同过滤、路径规划）与公式推导；第5章：基于Spark/Flink的旅游推荐系统实战；
Spark - ml.dmlc.xgboost4j / spark 版本匹配与 NoSuchMethodError 解决
BITDDD小栈
03-18 2448
spark 项目引入 ml.dmlc.xgboost4j 训练并读取 xgboost 模型，load 模型期间报错 NoSuchMethodError，通过源码的分析得到 xgboost 与 spark 版本对应关系。
spark版本xgboost的jar包
12-16
spark版本xgboost的jar包，博客中有scala-spark使用案例
数据挖掘xgb使用总结
qq_16446137的博客
07-20 7723
数据挖掘xgb使用总结 1.数据挖掘背景 2.常见模型及特点
pyspark使用XGboost训练模型实例
Toby的博客
08-04 2626
pyspark训练Xgboost模型
xgboost4j 在linux macOs上的配置
maniadouya的博客
08-01 1108
xgboost4j 在windows上的配置已经有了详细的中文教程， 在linux，macOs没有找到的中文教程，自己配置了一下 记录配置过程 先上一份官方配置的文档： http://xgboost.readthedocs.io/en/latest/jvm/ 我的安装过程： 环境是ubuntu14.04 1. java配置  1.1 JDK安装 这里安装的是oracal JDK8
XGBoost 中文文档开放：上去就是一把梭
机器之心
12-25 9554
近日，ApacheCN 开放了 XGBoost 中文文档项目，该项目提供了 XGBoost 相关的安装步骤、使用教程和调参技巧等中文内容。该项目目前已完成原英文文档 90% 的内容，机器之心简要介绍了该文档并希望各位读者共同完善它。 中文文档地址：http://xgboos
spark安装_编译安装xgboost4j-spark
weixin_39849942的博客
12-05 373
用于公司的推荐系统，注意黑体加粗字编译版本：xgboost ====> 0.72spark ======> 2.1.1注：网上找了一些博客写到 xgboost 0.72 才支持 spark 2.xxgboost 0.82 开始支持 spark 2.3.x 及以上版本具体没有细究过，待考证准备：1、安装cmake版本：3.16.0 ，试过安装3.9.3 版本，一直编译报错2、安装Vis...
xgboost on spark
ukakasu的博客
04-23 4380
背景     项目需要预测出每一类别的概率，spark ml、mlib中自带算法只能预测出所属类别满足不了需求，因此找到此算法。版本     spark1.6只能用XGBoost0.7之前的版本，此版本训练及预测只能使用rdd不能用df造成一定的不便，预测出的结果只有概率值，需自己与原始数据关联得到完整的记录，最大概率所属类别需自己算出。因此选择了spark2.0与XGBoost0.7。scala...
Anaconda安装xgboost的过程和踩过的坑
小C的博客
05-17 8529
安装的过程波折起伏，花了5个小时，给后来人做参考喽 第一次尝试 利用以下两个软件 Git for Windows、MINGW进行安装。 安装可以参考：(https://blog.youkuaiyun.com/leo_xu06/article/details/52300869) 踩过的坑： 1、python、git、mingw必须同时为32或64位，否则安装过程会出现问题 2、编译失败后需要删除失...
hadoop金融数据分析
01-01
### 使用Hadoop进行金融数据分析 #### 数据收集与预处理 在金融行业中，数据源广泛多样，包括交易记录、市场行情、客户行为等。为了有效利用这些数据，在使用Hadoop前需先完成数据采集和清洗工作。这一步骤涉及去除噪声、填补缺失值以及标准化不同格式的数据[^1]。 #### 构建Hadoop集群环境 构建适合金融机构使用的Hadoop集群至关重要。考虑到安全性、稳定性和性能等因素，通常会选择高配置服务器搭建多节点集群，并安装相应版本的Apache Hadoop软件包。此外，还需部署其他组件如YARN用于资源管理调度；HDFS提供可靠持久化存储服务；Hive简化SQL查询操作；Sqoop方便导入导出关系型数据库中的表结构及内容[^4]。 #### 实施具体案例分析流程 以股票价格预测为例说明整个过程： - **准备阶段** - 收集历史股价信息以及其他可能影响因素（宏观经济指标、公司财报摘要） - 将上述资料转化为CSV文件形式上传至HDFS目录下以便后续读取访问 - **探索性数据分析(EDA)** - 利用Python PySpark库加载本地或远程路径上的csv文档创建DataFrame对象 - 对各字段执行描述统计量计算（均值、方差）、绘制趋势图观察时间序列特性变化规律 - 探索变量间关联程度大小，筛选出最具解释力的关键因子作为模型输入特征向量组成部分之一 ```python from pyspark.sql import SparkSession spark = SparkSession.builder.appName('stock_analysis').getOrCreate() df = spark.read.csv('/path/to/your/data', header=True, inferSchema=True) # 计算统计数据 summary_stats = df.describe().show() # 绘制收盘价走势折线图 import matplotlib.pyplot as plt close_prices = df.select('Close').rdd.map(lambda row:row.Close).collect() plt.plot(close_prices) plt.title('Historical Stock Price') plt.xlabel('Date Index') plt.ylabel('Price ($)') plt.show() ``` - **建立预测模型** - 应用机器学习算法比如随机森林回归(RandomForestRegressor)，XGBoost等训练样本集并评估测试效果好坏 - 调整超参数优化最终得分直至满意为止 ```python from pyspark.ml.regression import RandomForestRegressor rf = RandomForestRegressor(featuresCol='features', labelCol='label') # Fit the model on training data. model = rf.fit(trainingData) # Make predictions using test dataset. predictions = model.transform(testData) # Evaluate prediction accuracy with RMSE metric. evaluator = RegressionEvaluator(predictionCol="prediction", \ labelCol="label",metricName="rmse") accuracy = evaluator.evaluate(predictions) print(f'Root Mean Squared Error (RMSE): {accuracy}') ``` - **结果解读与决策支持** - 解析所得结论为企业管理层制定投资策略提供建议参考依据 - 定期更新维护已有的知识体系确保其时效有效性
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值