CDH5.5自行编译支持sparkSQL，sparkR

最新推荐文章于 2022-08-16 10:35:05 发布

富兰克林008

最新推荐文章于 2022-08-16 10:35:05 发布

阅读量4.2k

点赞数

分类专栏： hadoop spark CDH5

本文链接：https://blog.youkuaiyun.com/oufuji/article/details/50314305

版权

spark 同时被 3 个专栏收录

13 篇文章

订阅专栏

hadoop

5 篇文章

订阅专栏

CDH5

4 篇文章

订阅专栏

本文档介绍了如何在CDH5.5环境下自行编译Spark以支持SparkSQL和SparkR。通过两步操作，包括使Cloudera Manager安装的Spark支持HQL，并手动拷贝相关命令文件并设置环境变量，来实现对SparkSQL和SparkR的支持。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第一步：编译支持hive的spark assembly

http://blog.youkuaiyun.com/xiao_jun_0820/article/details/44178169

第二步：让cloudera manager装的spark支持hql

http://blog.youkuaiyun.com/xiao_jun_0820/article/details/44680925

发现CDH5.5竟然把spark-sql，sparkR命令文件都没有放。R文件夹也没有。

第三步：拷贝文件和设置环境

把社区版的spark文件夹中R文件夹拷贝到CDH/lib/spark目录下，并把sbin和bin目录拷贝到CDH/lib/spark的bin和sbin。

sparkR --master yarn --executor-memory 1g

提示找不到hadoop的配置

IllegalArgumentException: requirement failed: Cannot read Hadoop config dir /opt/cloudera/parcels/CDH/lib/spark/conf/yarn-conf.

需要增加配置：

vi /etc/profile

source /etc/profile

export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
export HADOOP_CONF_DIR=/etc/hadoop/conf
export HADOOP_CMD=/opt/cloudera/parcels/CDH/bin/hadoop
export HIVE_HOME=/opt/cloudera/parcels/CDH/lib/hive
export SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark

export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin:$SCALA_HOME/bin