【spark】spark-hive操作

最新推荐文章于 2025-10-14 19:51:40 发布

原创最新推荐文章于 2025-10-14 19:51:40 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark-hive

spark 同时被 2 个专栏收录

10 篇文章

订阅专栏

hive

5 篇文章

订阅专栏

本文介绍了一个使用Spark连接Hive的具体实例，通过一个简单的Maven项目配置hive-site.xml等文件，并展示了如何通过SparkContext和HiveContext进行SQL查询。

hiveserver2

hive on tez 

1，创建maven项目，就hive-site.xml，core-size.xml,hdfs-site.xml

放到项目resources下面

2.spark-hive连接：

package com.people.item
/**
 * Created by Administrator on 2017/8/29.
 */
import org.apache.spark.sql.hive.HiveContext
import org.apache.spark.{SparkConf, SparkContext}
object SparkHiveText {
  def main(args: Array[String]) {
    val conf=new SparkConf().setMaster("local[2]").setAppName("SparkHiveText")
    val sc=new SparkContext(conf)
    val hc=new HiveContext(sc)
    import hc.implicits._
    hc.sql("select * from data.article limit 1").show()
    sc.stop()
  }
}