spark运行时加载hive，hdfs配置文件

最新推荐文章于 2025-06-12 10:00:00 发布

蹩脚法师

最新推荐文章于 2025-06-12 10:00:00 发布

阅读量3.1k

点赞数

CC 4.0 BY-SA版权

分类专栏： spark

本文链接：https://blog.youkuaiyun.com/piduzi/article/details/81636253

spark 专栏收录该内容

5 篇文章

订阅专栏

以前我用spark连接hive都是把hive的配置文件放在spark的conf目录，后来有个项目在运行时才能确定要连接哪个hive源，我就找了个能在运行时加载配置文件的方法，代码如下：

import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.Path
import org.apache.spark.sql.SparkSession
import scala.collection.JavaConverters._

object ReadHive {

  def main(args: Array[String]): Unit = {
    val sparkBuilder = SparkSession
      .builder
      .master("local")
      .appName("Spk Pi")
    val conf = new Configuration()
    // 这里的文件地址可以换成从数据库里查询
    val core = new Path("C:\\Users\\shadow\\Desktop\\core-site.xml")
    val hdfs = new Path("C:\\Users\\shadow\\Desktop\\hdfs-site.xml")
    val hive = new Path("C:\\Users\\shadow\\Desktop\\hive-site.xml")
    conf.addResource(core)
    conf.addResource(hdfs)
    conf.addResource(hive)
    for (c <- conf.iterator().asScala){
      sparkBuilder.config(c.getKey, c.getValue)
    }
    val spark = sparkBuilder.enableHiveSupport().getOrCreate()
    spark.sql("select * from default.wt_test1").show()
  }

}