spark sql on hive安装问题解析

在安装Spark时,为了使Spark SQL支持Hive,需要重新编译与Spark版本匹配的源码,添加Hive相关依赖。具体步骤包括:1) 使用sbt或maven编译Spark源码;2) 将生成的jar包放入指定目录;3) 检查并导入缺失的datanucleus类jar包;4) 将hive-site.xml配置文件放入Spark的conf目录。完成这些步骤后,Spark SQL才能正确运行在Hive上。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

安装spark时,默认的spark assembly 不包含hive支持。spark官网上说明“Spark SQL also supports reading and writing data stored in Apache Hive. However, since Hive has a large number of dependencies, it is not included in the default Spark assembly.” ,要想spark sql在hive上运行,需要编辑与自己使用spark版本相同的源码,将依赖包重新打入assembly中,编译后将所需要的包加入到之前spark安装位置。

1、首先重新编译与使用版本一样的spark源码

本文hadoop版本为2.3.0-cdh5.1.2,spark版本为1.0.2。

本文是用sbt工具进行编译,也可使用maven编译。

编译过程如下:

修改spark1.0.2/project/SparkBuild.scala文件,如下:

val DEFAULT_HADOOP_VERSION = "2.3.0-cdh5.1.2"
val DEFAULT_YARN = true
val DEFAULT_HIVE = true

执行命令:sbt/bin/sbt spark1.0.2/assembly

等待编译,时间较长

编译结束后,查看spark-1.0.2/assembly/target/scala-2.10目录下,有新生成的jar包,本文生成的jar包为spark-assembly-1.0.2-hadoop2.3.0-cdh5.1.2.jar

此外,源码中 spark-1.0.2/lib_managed/jars目录下也含有依赖包。

2、配置sqark sql on hive依赖包

首先执行spark-shell,查看下缺什么包。

<span style="font-size:14px;">./spark-shell \
  --master yarn-client \
  --driver-class-path $(echo /opt/cloudera/parcels/CDH/lib/hadoop-yarn/*.jar |sed 's/ /:/g'):/opt/cloudera/parcels/CDH-5.1.2-1.cdh5.1.2.p0.3/lib/hadoop-hdfs/hadoop-hdfs-2.3.0-cdh5.1.2.jar</span>

然后执行hql语句

<span style="font-size:14px;">val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)
</span>

结果出现如下错误

<span style="f
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值