Spark读取HA模式下的HDFS

最新推荐文章于 2024-03-16 11:50:13 发布

AA强

最新推荐文章于 2024-03-16 11:50:13 发布

阅读量2.5k

点赞数 1

分类专栏： spark

本文链接：https://blog.youkuaiyun.com/gaoguiqiang0/article/details/94553975

版权

在HA模式下，Spark访问HDFS不再直接访问NameNode，而是通过配置命名空间和多个NameNode的名称。两种访问方式包括：1) 设置core-site.xml中的fs.defaultFS, dfs.nameservices, dfs.ha.namenodes.cdhservice和dfs.namenode.rpc-address.chdservice.namenode36等参数。2) 将core-site.xml和hdfs-site.xml放入项目目录，但Spark 2.2版本可能不需要额外配置。注意不同Hadoop发行版（如Apache和CDH）配置文件位置可能不同，需要查找包含HA配置的文件。" 116140840,7479423,随机森林模型参数调优详解,"['机器学习', '模型调优', '随机森林', '决策树', '数据科学']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

通过配置参数的方式访问

HA模式不同于普通模式直接使用ip:8020这种方式访问。HA模式使用多NameNode，直接访问NameNode是不被允许的，所以为HDFS集群另外设置了一个命名空间namespace，以及两个NameNode的名称，在访问时候直接访问namespace即可。访问方式有两种，需要依赖Hadoop-Client包。在Spark中：

通过配置参数的方式访问

val spark = SparkSession.builder().appName("OfflineSpark")
.master("local[*]")
.getOrCreate()
val sc = spark.sparkContext

sc.hadoopConfiguration.set("fs.defaultFS", "hdfs://cdhservice")
sc.hadoopConfiguration.set("dfs.nameservices", "cdhservice")
sc.hadoopConfiguration.set("dfs.ha.namenodes.cdhservice", "namenode36,namenode105")
sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cdhservice.namenode36", "cdh1:8020")
sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cdhservice.namenode105", "cdh3:8020")
sc.hadoopConfiguratio

最低0.47元/天解锁文章