搭建sparksql的hive测试环境

ggzone

于 2016-03-31 15:59:15 发布

阅读量1.4k

点赞数

分类专栏： Hive Spark

本文链接：https://blog.youkuaiyun.com/ggz631047367/article/details/51027288

版权

Spark 同时被 2 个专栏收录

18 篇文章

订阅专栏

Hive

17 篇文章

订阅专栏

本文介绍了一个使用Apache Spark和Hive进行数据处理的例子。通过配置Spark环境并利用HiveContext执行HQL查询来展示如何从Hive中获取表格信息。此示例还包含了sbt项目的依赖管理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

sbt依赖

name := "Pi"
version := "1.0"
scalaVersion := "2.10.6"


libraryDependencies++= Seq(
  "org.apache.spark" %% "spark-core" % "1.5.2",
  "org.apache.spark" % "spark-hive_2.10" % "1.5.2",
  "joda-time" % "joda-time" % "2.9.2"
)

resolvers+="OS China" at "http://maven.oschina.net/content/groups/public/"

import org.apache.spark._
import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.hive.HiveContext


/**
  * Created by code-pc on 16/3/14.
  */
object Pi {


  def main(args: Array[String]) {

    val conf = new SparkConf().setMaster("local[5]").setAppName("AndrzejApp")
    val sc=new SparkContext(conf)

    val hqlc=new HiveContext(sc)
    val st=hqlc.sql("show tables")
    println("hello")
    st.collect().foreach(println)
  }
}

这里写图片描述