idea中Spark操作外置hive

最新推荐文章于 2022-05-04 10:56:26 发布

原创最新推荐文章于 2022-05-04 10:56:26 发布 · 350 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #hive #hadoop

hadoop 专栏收录该内容

4 篇文章

订阅专栏

本文介绍了如何在Spark环境中创建SparkSession，配置shuffle分区数、仓库目录和Hive元数据连接，并演示了如何执行SQL查询以显示数据库。最后展示了如何关闭Spark环境。

代码

object Spark04_SparkSQL_Hive {

  def main(args: Array[String]): Unit = {
    //TODO 创建SparkSQL的运行环境
    val spark = SparkSession.builder().appName("sparksql").master("local[*]")
      .config("spark.sql.shuffle.partitions","4")
      .config("spark.sql.warehouse.dir","hdfs://centos01:9000/user/hive/warehouse")
      .config("hive.metastore.uris","thrift://centos01:9083")
      .enableHiveSupport()
      .getOrCreate()

    val sc = spark.sparkContext
    sc.setLogLevel("WARN")
    import spark.implicits._

    
    spark.sql("show databases").show



    //TODO 关闭环境
    spark.stop()

  }