用IntelliJ IDEA ：park和hive整合编写代码实现

原创于 2018-07-30 21:43:25 发布 · 913 阅读

1 ·

CC 4.0 BY-SA版权

spark 专栏收录该内容

5 篇文章

订阅专栏

本文介绍如何通过Spark SQL连接Hive并执行简单的查询操作。示例代码展示了配置Spark环境、创建Spark上下文和Hive上下文的过程，并执行了一个计数查询来获取Hive表中的记录总数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代码：

package sparksql_hive

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.hive.HiveContext

object test {

  def main(args: Array[String]): Unit = {
    System.setProperty("HADOOP_USER_NAME", "cry")
    val sparkConf = new SparkConf()
    sparkConf.setAppName("test").setMaster("local")
    val sparkContext = new SparkContext(sparkConf)
    val hiveContext = new HiveContext(sparkContext)

    hiveContext.sql("select count(*) as total from myhive.student").show()

    sparkContext.stop()
  }
}

------------------------------------------------------

注意如图：需要假如的三个文件：