Spark在Hadoop 高可用模式下读写hdfs

最新推荐文章于 2024-03-16 11:50:13 发布

撸码小丑

最新推荐文章于 2024-03-16 11:50:13 发布

阅读量1.7k

点赞数

分类专栏： spark 文章标签： spark

spark 专栏收录该内容

10 篇文章

订阅专栏

本文介绍了两种配置Spark应用程序以使用Hadoop分布式文件系统（HDFS）高可用性的方法：一是直接通过设置Spark上下文的配置参数；二是通过加载特定的配置文件。这两种方式都能使Spark应用程序更好地利用HDFS集群，尤其是在涉及多个NameNode的情况下。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第一种，通过配置文件

 val sc = new SparkContext()

    sc.hadoopConfiguration.set("fs.defaultFS", "hdfs://cluster1");
    sc.hadoopConfiguration.set("dfs.nameservices", "cluster1");
    sc.hadoopConfiguration.set("dfs.ha.namenodes.cluster1", "nn1,nn2");
    sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cluster1.nn1", "namenode001:8020");
    sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cluster1.nn2", "namenode002:8020");
    sc.hadoopConfiguration.set("dfs.client.failover.proxy.provider.cluster1", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");

第二种，通过Java代码

val conf = new SparkConf().setAppName("Spark Word Count") 
val sc = new SparkContext()
sc.hadoopConfiguration.addResource("cluster1/core-site.xml")
sc.hadoopConfiguration.addResource("cluster1/hdfs-site.xml")