【环境配置】
Hive: 0.13.1
Spark: 1.2.0
Spark和Hive都是伪分布式安装的
网上有一些教程,但或者Spark版本不同,或者不够全面。其实总结起来只有三步,如下:
(1)打开spark-shell
spark-shell
(2)建立HiveContext对象
val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)
(3)进行Hive操作
hiveContext.sql("show tables").take(10) //取前十个表看看
hiveContext.sql("from ewaplog select key, value").collect().foreach(println)
本文介绍如何使用Spark连接Hive并执行基本操作。通过三个步骤实现:启动spark-shell,创建HiveContext对象,并执行Hive SQL查询。适用于Spark 1.2.0及Hive 0.13.1伪分布式安装。
1529

被折叠的 条评论
为什么被折叠?



