
宜信数据中台
记录宜信数据中台开源组件的安装、使用心得
凉茶冰
我不想被后浪拍在沙滩上。
展开
-
moonbox在hdp的基础上使用独立spark2.2安装遇到的问题记录
目录 前言 问题描述 moonbox的配置项说明 moonbox-evn.sh配置 moonbox-defaults.conf配置 slaves配置项 Spark2.2的安装及部署 spark-env.sh spark-defaults.conf slaves 遇到的问题 前言 使用CDH6.0.0搭建的集群环境,虽然默认选择的spark2.2,但是依然是无法直接使用mo...原创 2019-11-29 16:50:43 · 658 阅读 · 1 评论 -
moonbox使用CDH6.0.0部署记录
目录 前言 1.moonbox启动后,spark on yarn 任务运行失败 2.netty包冲突 3.spark相关包 4.关于rest方式提交时候影响的jar 5.其他 前言 moonbox目前最新版本是0.3.0,官方的文档上在环境准备这一块明确指出仅支持Apache Spark2.2.0 已安装Apache Spark 2.2.0 (此版本仅支持A...原创 2019-07-24 10:06:25 · 792 阅读 · 1 评论