用IntelliJ IDEA ：park和hive整合编写代码实现

mas2005

于 2018-07-30 21:43:25 发布

阅读量913

点赞数

CC 4.0 BY-SA版权

分类专栏： spark

本文链接：https://blog.youkuaiyun.com/mas2005/article/details/81292397

spark 专栏收录该内容

5 篇文章

订阅专栏

本文介绍如何通过Spark SQL连接Hive并执行简单的查询操作。示例代码展示了配置Spark环境、创建Spark上下文和Hive上下文的过程，并执行了一个计数查询来获取Hive表中的记录总数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代码：

package sparksql_hive

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.hive.HiveContext

object test {

  def main(args: Array[String]): Unit = {
    System.setProperty("HADOOP_USER_NAME", "cry")
    val sparkConf = new SparkConf()
    sparkConf.setAppName("test").setMaster("local")
    val sparkContext = new SparkContext(sparkConf)
    val hiveContext = new HiveContext(sparkContext)

    hiveContext.sql("select count(*) as total from myhive.student").show()

    sparkContext.stop()
  }
}

------------------------------------------------------

注意如图：需要假如的三个文件：