spark加载properties配置文件方法

最新推荐文章于 2025-05-13 15:36:13 发布

时间的快慢

最新推荐文章于 2025-05-13 15:36:13 发布

阅读量1.2w

点赞数 2

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/u013013024/article/details/73250550

本文纠正了Spark加载properties配置文件的常见错误，并详细介绍了正确的实现步骤，帮助读者掌握有效的配置文件读取方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先我先介绍一下错误的写法，这个加载配置文件方法是错误的：

    val props = new Properties();
    val loader = getClass.getClassLoader;
    props.load(new FileInputStream(loader.getResource("config.properties").getFile()))

这个是把配置文件直接放在resource的目录下，去获得配置文件信息，这个写法在spark程序中会报找不到配置文件。

正确写法：

    val props = new Properties();

    props.load(new FileInputStream("config.properties"));
    val hdfspath = props.getProperty("hdfspath");
    val mysqlpath = props.getProperty("mysql");

你可以在这些地方加载配置文件

 kafkaStream.foreachRDD { rdd =>
            rdd.foreachPartition { partition =>

                val filePath = "config.properties"
                LogUtil.info(filePath)
                val props = new Properties()
                props.load(new FileInputStream(filePath))

                LogUtil.info("一")
                props.keySet().toArray().foreac