spark读取外部配置文件

最新推荐文章于 2022-05-31 10:26:56 发布

怎么全部重名了

最新推荐文章于 2022-05-31 10:26:56 发布

阅读量1.2k

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark spark读取配置文件

本文链接：https://blog.youkuaiyun.com/qq_16234927/article/details/102502170

spark 专栏收录该内容

8 篇文章

订阅专栏

本文介绍如何在Spark程序中使用properties或YAML文件进行配置参数管理，通过实例演示了从YAML文件读取配置并应用于Spark程序的方法，解决实际部署中遇到的路径问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

配置参数可以写在项目中的properties.xml中也可以在spark-submit上面写上你的配置参数，如果配置参数足够多，写到spark-submit后面很麻烦可以把这些配置参数写到一个文件中，直接读取配置文件获取配置。
建一个property.yml，配置如下

es.nodes: 127.0.0.1
es.port: 9356

spark程序如下

 def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("justForTry")
    val sc = new SparkContext(conf)
   // val session = SparkSession.builder().config(conf).getOrCreate()
    val props = new Properties();
    props.load(new FileInputStream("property.yml"));
    val nodes = props.getProperty("es.nodes");
    val port = props.getProperty("es.port");

  println(nodes+"--"+port)
  sc.stop()
  }

将配置文件放到你的服务器上，提交命令

spark-submit --master yarn --deploy-mode cluster --class readFile --files /root/property.yml Monkey-1.0-SNAPSHOT.jar

中间遇到的问题：我在root目录下执行的。jar包和配置文件也在root下，结果–files 时候我直接写property.yml 发现报错说找不到这个文件，后来我改成/root/property.yml 就可以了。一定要把路径写完整