SparkSQL：Spark整合Hive

最新推荐文章于 2025-07-29 10:07:22 发布

原创

最新推荐文章于 2025-07-29 10:07:22 发布 · 5.7k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hive #spark

1.安装Hive

Hive的安装，可以参看Hadoop-Hive快速入门，这里不再重述

2.拷贝Hive的配置文件

拷贝$HIVE_HOME/conf/hive-site.xml文件到$SPARK_HOME/conf下

3.测试Hive

本地数据测试文件people.txt

1       user01  123456
2       user02  123456
3       user03  123456
4       user04  123456

测试过程：新建一个内部表，导入本地数据，查询数据

    //实例化一个HiveContext
    val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)
    //新建一个内部表
    sqlContext.sql("CREATE TABLE IF NOT EXISTS people (id bigint, username string, password string) row format delimited fields terminated by '\t'")
    //导入本地数据
    sqlContext.sql("LOAD DA