编译cdh的spark，使得支持spark-sql

最新推荐文章于 2023-04-18 18:26:06 发布

weixin_33806300

最新推荐文章于 2023-04-18 18:26:06 发布

阅读量403

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 shell

原文链接：https://my.oschina.net/cjun/blog/727883

本文介绍如何在Cloudera的CDH环境中为Spark添加Spark SQL支持。通过重新编译Spark并进行必要的配置修改，可以实现Spark SQL的功能。具体步骤包括编译Spark、替换jar包、添加shell脚本及更新配置文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

为什么80%的码农都做不了架构师？>>>

cloudera公司集成的spark是不带spark-sql的，如果需要让cdh的spark支持spark-sql，需要重新编译spark

网上有参考资料，大概步骤是编译，替换jar包，把spark-sql的shell脚本放到bin目录下，注意，还有可能需要更改/opt/cloudera/parcels/CDH/lib/spark/conf/classpath.txt，这个文件里面就是spark有那些jar包和包路径。

参考：CDH5.5自行编译支持sparkSQL，sparkR 重新编译spark 增加spark-sql适配CDH

转载于:https://my.oschina.net/cjun/blog/727883

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_33806300

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

解决CDH内嵌Spark版本不支持spark-sql的方案

阿啄debugIT

02-15

3056

1.概述 CDH内嵌Spark版本不支持spark-sql,因为cloudera在推自己的impala，但是有些场景需要用到Spark-sql时，比如Kylin企业版想要加快构建需要用到SparkSQL，大概的思路就是换jar包，很多资料，千篇一律是要加入hive&hivethriftserver重新编译源码再打成jar才能支持，其实我们只需要到官网去把编译好的spark包下下来，直接替...

cdh使用sparksql_cloudera cdh6 添加spark-sql

weixin_30520605的博客

01-14

3079

spark-sql常用的查询工具，速度比较hivesql要快。但是cdh6并没有spark-sql。1，取消环境变量# unset KAFKA_HOME FLUME_HOME HBASE_HOME HIVE_HOME SPARK_HOME HADOOP_HOME SQOOP_HOME KYLIN_HOME以前装过独立的hadoop生态圈，最好是取消掉。2，遇到的问题Warning: Failed ...

参与评论您还未登录，请先登录后发表或查看评论

实现CDH支持Spark SQL功能

热门推荐

sunyang098的博客

08-11

1万+

CDH内嵌spark版本不支持spark-sql,可能是因为cloudera在推自己的impala；如果上线spark却不能使用sql这种结构化语言，对于大部分分析人员其实是很不爽的！so，就手动实现支持spark-sql的功能吧 1.下载spark的包 http://www.apache.org/ -》右上角download -》 HTTP http://apach

编译spark源码使sparksql支持hive（cdh的）

cjhdb的博客

08-31

1162

一：首先设置maven的内存 export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m" 二：在spark的目录下执行该命令（cd spark-1.3.0） mvn -Pyarn -Dhadoop.version=2.6.0-cdh5.4.1 -Phive -Phive-thriftserver

重新编译spark源码，使CDH支持spark sql

鱼归不知处

12-28

1269

1、编辑$MAVEN_HOME/bin/mvn文件，增加配置： MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m" 2、执行mvn命令： mvn -Pyarn -PHadoop-2.6 -Dhadoop.version=2.6.0-cdh5.8.3 -Dscala-2.10.5 -Phive -Phi

spark-3.2.2-bin-3.0.0-cdh6.3.2

10-20

内容概要：由于cdh6.3.2的spark版本为2.4.0，并且spark-sql被阉割，现基于cdh6.3.2，scala2.12.0，java1.8，maven3.6.3，,对spark-3.2.2源码进行编译应用：该资源可用于cdh6.3.2集群配置spark客户端，用于spark-sql

编译的spark-hive_2.11-2.3.0和 spark-hive-thriftserver_2.11-2.3.0.jar

06-23

spark-hive_2.11-2.3.0 spark-hive-thriftserver_2.11-2.3.0.jar log4j-2.15.0.jar slf4j-api-1.7.7.jar slf4j-log4j12-1.7.25.jar curator-client-2.4.0.jar curator-framework-2.4.0.jar curator-recipes-2.4.0....

成功编译后的 spark-2.1.0-bin-2.6.0-cdh5.7.0

04-03

总的来说，"spark-2.1.0-bin-2.6.0-cdh5.7.0"提供了在CDH 5.7.0环境下运行Spark SQL的能力，能够帮助数据工程师和分析师高效地处理大规模数据。编译Spark的成功不仅体现了你对大数据技术的掌握，也为你提供了自定义...

适配CDH6.3.2的Spark3.2.2

08-16

2. **SQL增强**：Spark SQL支持更多的SQL标准，包括窗口函数、CUBE和ROLLUP聚合、新的数据类型（如JSON和UUID）以及改进的JOIN策略。此外，性能也得到了优化，例如，通过改进的代码生成和查询优化。 3. **PySpark...

cdh6.x 集成spark-sql

涤生大数据

07-28

2473

cdh spark-sql

spark-sql_2.11-2.4.0-cdh6.1.1.jar

05-14

spark-sql_2.11-2.4.0-cdh6.1.1.jar

重新编译spark 增加spark-sql适配CDH

Dino系我的专栏

12-19

9376

spark-sql

大数据技术（入门篇）--- 使用Spring Boot 操作 CDH6.2.0 Spark SQL进行离线计算

编码爱好者

04-18

3485

Spring Boot 操作 CDH6.2.0集群中的 Spark，使用Spark-SQL技术，实现离线计算，查询示例：简单的条件查询、稍微复杂一些的聚合查询、每行数据对象，转换为自定义Class对象、目标数据存储到MySQL数据库中、符合断言判断

CDH6.3.2添加spark-sql

丰耳的博客

02-18

5758

前言众所周知，CDH为了推自家的Impala，阉割掉了Spark的spark-sql工具，虽然很多时候我们并不需要spark-sql,但是架不住特殊情况下有使用它的时候，这个根据项目或者团队（个人）情况而异。我这边就是因为项目原因，需要使用spark-sql，因此从网上各种查资料，折腾了好几天，最终在CDH集群上集成了spark-sql，以下操作并不能保证百分百适配你的环境，但思路可供借鉴。集成步骤下载Apache-spark2.4.0 因为CDH6.3.2使用的Spark版本是2.4.0,为了避免使

cdh5.9添加sparksql cli直接操作hive

tianjun2012的专栏

07-12

4878

由于项目需要，需要在cloudera的spark中直接用sparksql操作hive，但是cloudera的spark中没有sparksql cli（也就是没有spark-sql命令），有关解决方案网上比较多。cloudera的安装参照这篇博客基本上就可以离线安装好cloudera 我在自己笔记本的虚拟机上装了一天半的时间，最后还是部分框架没有安装成功，总结的经验就是cloudera通过cm来安装

cdh使用sparksql_为什么cdh 放弃了 spark-sql命令？

weixin_39919089的博客

01-14

537

一、启动方法/data/spark-1.4.0-bin-cdh4/bin/spark-sql --master spark://master:7077 --total-executor-cores 10 --executor-memory 1g --executor-cores 2注：/data/spark-1.4.0-bin-cdh4/为spark的安装路径/data/spark-1.4.0-b...

cloudera manager安装CDH版本的spark 无法连接解决办法

广志大兄弟的博客

05-28

5568

前提：在很久很久以前，搭了一套cloudera manger 的集群，全组件安装上之后，一直没有使用spark ，安装时出现了很多问题，这个权限不足，那个权限不足的，到最后只将用的那几个组件给调试好了，其他的一直都没管。最近使用了spark 发现7077无法连接。这个都无法连接，你让我在这上面怎么跑我风骚帅气的代码，找找原因吧。毕竟是cloudera manger安装的，而且安装过程中还出现了一...

CDH spark客户端安装错误

叁木大数据

07-24

614

CDH客户端安装错误一、问题描述在安装Spark客户端时有两台机器安装成功但是有一台安装失败，并报错退出。二、问题解决思路查看启动日志。发现启动失败的那台机器调用jdk时失败三、解决思路 spark安装客户端时没有去找环境变量中的jdk,而是找的/usr/java目录下的所以只需要把jdk路径软连接到 /usr/java/default目录下（如果没有default目录则创建）...

cloudera如何在spark-shell命令行执行spark hql

weixin_34014277的博客

07-07

282

2019独角兽企业重金招聘Python工程师标准>>> ...

Windows下编译Spark-2.2.0与CDH5.7.0环境搭建

通过上述分析，我们了解到在Windows环境下手动编译和部署Apache Spark 2.2.0和CDH 5.7.0是一个涉及多个技术栈的过程，需要对Java、Scala、Maven、Hadoop生态系统以及Spark本身有深入的理解。这不仅需要丰富的IT知识...