spark-shell: 通过spark sql 操作hive

最新推荐文章于 2023-11-02 16:27:53 发布

原创

最新推荐文章于 2023-11-02 16:27:53 发布 · 678 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#spark-shell #spark # #sql # #hive

本文详细介绍了如何使用SparkSQL连接Hive进行数据操作，包括配置环境、基本查询、从外部数据导入到Hive表、创建及插入数据到分区表等过程。同时，提供了具体的代码示例，帮助读者理解SparkSQL与Hive的集成应用。

/************************************

spark sql 连接hive
**************************************/

//1) 前置条件
#1.拷贝hive-site.xml到spark/conf下，拷贝mysql-connector-java-xxx-bin.jar到hive/lib下
#2.开启hive元数据服务：hive --service metastore # 此项需要手动启动
#3.开启hadoop服务：sh $HADOOP_HOME/sbin/start-all.sh
#4.开启spark服务：sh $SPARK_HOME/sbin/start-all.sh
#5.进入spark-shell：spark-shell
#6.scala操作hive(spark-sql)

//2) 简单操作
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)
sqlContext.sql(“use sparktest”)
sqlContext.sql(" SELECT * FROM student").collect().foreach(println)

sqlContext.sql("CREATE TABLE IF NOT EXISTS tst1 (key INT, value STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’ ")
sqlContext.sql(“show tables”).show
sqlContext.sql(“insert into tst1 values(1,‘1’);”) //这句不可用

//3) 从外部数据load -> 导入临时表 -> 插入历史表
import sqlContext.implicits._

//3.1 读取数据
case class Person(name:String,