SparkSQL整合 HIVE

关注

原创最新推荐文章于 2026-09-21 16:13:26 发布 368 阅读 AI 写同款· GEO 优化 ›

SparkSQL与Hive整合（Spark-On-Hive） Spark-On-Hive 为什么要把Spark和Hive整合？ Hive将SQL转成MR程序，执行速度相对较慢原理：使用SparkSQL整合Hive，其实就是让SparkSQL去加载Hive的元数据库，然后通过SparkSQL执行引擎去操作Hive表内的数据。所以，首先要开启Hive的元数据服务，让SparkSQL能够加载到元数据。 1、Hive开启MetaStore服务修改：hive/conf/hive-site.xml，新增加以下配置 <property> 阅读详情

SparkSQL整合 HIVE

安装hive（配置好）
将配置好的hive-site.xml放入$SPARK-HOME/conf目录下
将mysql-xxx-connector-xx.jar放到spark集群中节点的lib目录下
启动spark-shell时指定mysql连接驱动位置

先启动spark：sbin/start-all.sh

bin/spark-shell \
 --master spark://master:7077 \
 --executor-memory 1g \
 --total-executor-cores 2 \
 --driver-class-path /apps/spark/lib/mysql-connector-java-5.1.35-bin.jar

5.使用sqlContext.sql调用HQL

sqlContext.sql(“select * from TABLS limit 2”)

或使用org.apache.spark.sql.hive.HiveContext
import org.apache.spark.sql.hive.HiveContext
val hiveContext = new HiveContext(sc)
hiveContext.sql(“select * from spark.person”).show()
或者.write.mode(“append”).jdbc()