HDFS-RBF独立Router接管多集群部署配置详细步骤

于 2024-07-02 07:54:28 发布
阅读量797 收藏 7
点赞数 5
文章标签： hdfs hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sunxunyong/article/details/140116149
版权

1、安装jdk
2、安装Zookeeper
3、安装RBF
3.1 解压 tar -zxvf hadoop-3.3.6.tar.gz
3.2 复制集群配置文件：hdfs-site.xml、core-site.xml
3.3 Router配置：apache hdfs-rbf-site.xml hdp: hdfs-site.xml

	<!-- Router RPC服务器 -->
<property>
    <!-- 要监视的默认子群集的NS标识符 --> 
    <name>dfs.federation.router.default.nameserviceId</name>
    <value>ns1</value>
</property>

<property>
    <!-- 是否开启默认子群集的NS标识符 --> 
    <name>dfs.federation.router.default.nameservice.enable</name>
    <value>true</value>
</property>

<property>
    <!-- 是否开启路由处理客户端的RPC请求 --> 
    <name>dfs.federation.router.rpc.enable</name>
    <value>true</value>
</property>

<property>
    <!-- 处理客户端请求的RPC地址 --> 
    <name>dfs.federation.router.rpc-address</name>
    <value>0.0.0.0:8888</value>
</property>

<property>
    <!-- RPC 服务器将绑定到的实际地址 --> 
    <name>dfs.federation.router.rpc-bind-host</name>
    <value>0.0.0.0</value>
</property>

<property>
    <!-- 路由处理来自客户端的RPC请求的服务器线程数 --> 
    <name>dfs.federation.router.handler.count</name>
    <value>20</value>
</property>

<property>
    <!-- 用于处理RPC客户端请求的处理程序数的队列大小 --> 
    <name>dfs.federation.router.handler.queue.size</name>
    <value>200</value>
</property>

<property>
    <!-- 路由用于处理RPC客户端请求的读取器数。 --> 
    <name>dfs.federation.router.reader.count</name>
    <value>5</value>
</property>

<property>
    <!-- 路由处理RPC客户端请求的读取器数的队列大小 --> 
    <name>dfs.federation.router.reader.queue.size</name>
    <value>100</value>
</property>

	<!-- NN连接配置 -->
<property>
    <!-- 从路由到namenode的连接池的大小 --> 
    <name>dfs.federation.router.connection.pool-size</name>
    <value>6</value>
</property>

<property>
    <!-- 时间间隔（以毫秒为单位），用于检查连接池是否应删除未使用的连接 --> 
    <name>dfs.federation.router.connection.clean.ms</name>
    <value>10000</value>
</property>
   
<property>
    <!-- 时间间隔（以毫秒为单位），用于检查连接管理器是否应删除未使用的连接池 --> 
    <name>dfs.federation.router.connection.pool.clean.ms</name>
    <value>60000</value>
</property>

	<!-- 管理服务 -->        
<property>
    <!-- 是否启用路由的管理服务处理客户端请求的RPC请求 --> 
    <name>dfs.federation.router.admin.enable</name>
    <value>true</value>
</property>
    
<property>
    <!-- 处理管理员请求的RPC地址 --> 
    <name>dfs.federation.router.admin-address</name>
    <value>0.0.0.0:8111</value>
</property>
    
<property>
    <!-- RPC管理服务器将绑定到的实际地址 --> 
    <name>dfs.federation.router.admin-bind-host</name>
    <value>0.0.0.0</value>
</property>
    
<property>
    <!-- 路由器处理来自管理员的RPC请求的服务器线程数 --> 
    <name>dfs.federation.router.admin.handler.count</name>
    <value>1</value>
</property>

	<!-- HTTP服务 -->     
<property>
    <!-- 是否启用路由处理客户端的HTTP请求 --> 
    <name>dfs.federation.router.http.enable</name>
    <value>true</value>
</property>
    
<property>
    <!-- 处理对路由的Web请求的HTTP地址 --> 
    <name>dfs.federation.router.http-address</name>
    <value>0.0.0.0:50071</value>
</property>
    
<property>
    <!-- HTTP服务器将绑定到的实际地址 --> 
    <name>dfs.federation.router.http-bind-host</name>
    <value>0.0.0.0</value>
</property>

<property>
    <!-- 处理对路由的Web请求的HTTPS地址 --> 
    <name>dfs.federation.router.https-address</name>
    <value>0.0.0.0:50072</value>
</property>
    
<property>
    <!-- HTTPSS服务器将绑定到的实际地址 --> 
    <name>dfs.federation.router.https-bind-host</name>
    <value>0.0.0.0</value>
</property>

	<!-- StateStore存储 -->
<property>
    <!-- 是否启用路由连接statestore --> 
    <name>dfs.federation.router.store.enable</name>
    <value>true</value>
</property>
    
<property>
    <!-- 用于序列化状态存储记录的类 --> 
    <name>dfs.federation.router.store.serializer</name>
    <value>org.apache.hadoop.hdfs.server.federation.store.driver.impl.StateStoreSerializerPBImpl</value>
</property>
    
<property>
    <!-- 实现statestore的类 --> 
    <name>dfs.federation.router.store.driver.class</name>
    <value>org.apache.hadoop.hdfs.server.federation.store.driver.impl.StateStoreZooKeeperImpl</value>
</property>

<property>
    <!-- 检查与状态存储的连接的频率（以毫秒为单位） --> 
    <name>dfs.federation.router.store.connection.test</name>
    <value>60000</value>
</property>
    
<property>
    <!-- 刷新状态存储缓存的频率（以毫秒为单位） --> 
    <name>dfs.federation.router.cache.ttl</name>
    <value>60000</value>
</property>

<property>
    <!-- membership记录的过期时间（以毫秒为单位） --> 
    <name>dfs.federation.router.store.membership.expiration</name>
    <value>300000</value>
</property>
    
<property>
    <!-- 如果为true，则每当为所有路由器添加、修改或删除挂载表条目时，都会更新挂载表缓存 --> 
    <name>dfs.federation.router.mount-table.cache.update</name>
    <value>false</value>
</property>

<property>
    <!-- 等待所有路由器完成其挂载表缓存更新的最长时间 --> 
    <name>dfs.federation.router.mount-table.cache.update.timeout</name>
    <value>1m</value>
</property>
    
<property>
    <!-- 路由客户端可以缓存连接的最大时间 --> 
    <name>dfs.federation.router.mount-table.cache.update.client.max.time</name>
    <value>5m</value>
</property>

<!-- Routing路由 -->
<property>
    <!-- 用于将文件解析到对应子群集的类。默认org.apache.hadoop.hdfs.server.federation.resolver.MountTableResolver，如果要为一个挂载点启用多个子集群，请设置为org.apache.hadoop.hdfs.server.federation.resolver.MultipleDestinationMountTableResolver --> 
    <name>dfs.federation.router.file.resolver.client.class</name>
    <value>org.apache.hadoop.hdfs.server.federation.resolver.MultipleDestinationMountTableResolver</value>
</property>
    
<property>
    <!-- 用于解析到子集群的NameNode的类 --> 
    <name>dfs.federation.router.namenode.resolver.client.class</name>
    <value>org.apache.hadoop.hdfs.server.federation.resolver.MembershipNamenodeResolver</value>
</property>

<!-- NameNode监控 -->     
<property>
    <!-- 如果为true，路由会定期将其状态检测信号到statestore --> 
    <name>dfs.federation.router.heartbeat.enable</name>
    <value>true</value>
</property>
    
<property>
    <!-- 如果true，路由将获取NameNode检测信号并发送到StateStore。如果未显式指定，则取与相同的dfs.federation.router.heartbeat.enable值 --> 
    <name>dfs.federation.router.namenode.heartbeat.enable</name>
    <value>true</value>
</property>  

<property>
    <!-- 路由器应检测信号进入状态存储的频率（以毫秒为单位） --> 
    <name>dfs.federation.router.heartbeat.interval</name>
    <value>5000</value>
</property>
    
<property>
    <!-- 要监视的NameNode的标识符，Router安装在非namenode结点需要配置！ --> 
    <name>dfs.federation.router.monitor.namenode</name>
    <value>ns1.nn1,ns1.nn2,ns2.nn3,ns2.nn4</value>
</property> 
    
<property>
    <!-- 如果为true，路由器应监视本地计算机中的NameNode，Router安装在非namenode结点需要设置为false --> 
    <name>dfs.federation.router.monitor.localnamenode.enable</name>
    <value>false</value>
</property>

<!-- localnamenode.enable设置true，需要配置子集群允许路由直接查找本地节点 -->
<property>
    <name>dfs.nameservice.id</name>
    <value>ns1</value>
</property>
       
	<!-- Quota配额 -->     
<property>
    <!-- 如果为true，在路由中启用配额系统。在这种情况下，不建议直接设置或清除子集群的配额，因为路由管理服务器将使用全局配额覆盖子集群的配额 --> 
    <name>dfs.federation.router.quota.enable</name>
    <value>false</value>
</property>
    
<property>
    <!-- 路由更新配额缓存的频率。此设置支持多个时间单位后缀。如果未指定后缀，则假定为毫秒 --> 
    <name>dfs.federation.router.quota-cache.update.interval</name>
    <value>60s</value>
</property>   
    
	<!-- Kerberos安全 -->  
	<!-- 应该给router单独创建principal，keytab，nn节点部署使用nn的keytab和principal -->   
<property>
    <!-- 路由用于作为其服务主体登录的密钥表文件 --> 
    <name>dfs.federation.router.keytab.file</name>
    <value>/etc/security/keytabs/nn.service.keytab</value>
</property>

<property>
    <!-- 路由服务主体的principal。这通常设置为路由/_HOST@REALM。_HOST占位符允许在HA设置中的所有路由器上使用相同的配置设置 --> 
    <name>dfs.federation.router.kerberos.principal</name>
    <value>nn/_HOST@OCDP.COM</value>
</property>

<!-- <property>
    <!-- 包含此配置文件的路由器的主机名。每台计算机都不同。默认为当前主机名 --> 
    <name>dfs.federation.router.kerberos.principal.hostname</name>
    <value></value>
</property> -->

<property>
    <!-- 启用Kerberos安全性时路由器用于WebUI SPNEGO身份验证的服务器主体。这通常设置为HTTP/_HOST@REALM --> 
    <name>dfs.federation.router.kerberos.internal.spnego.principal</name>
    <value>HTTP/_HOST@OCDP.COM</value>
</property>

<property>
    <!-- 用于实现statestore到委托令牌的类。默认实现使用zookeeper作为后端来存储委派令牌 --> 
    <name>dfs.federation.router.secret.manager.class</name>
    <value>org.apache.hadoop.hdfs.server.federation.router.security.token.ZKDelegationTokenSecretManagerImpl</value>
</property>

<!-- statestore配置 -->
<property>
    <!-- state store 采用zk时需要配置 -->
    <name>hadoop.zk.address</name>
    <value>host-@@@-236-144:2181,host-@@@-241-65:2181,host-@@@-241-68:2181</value>
</property>

<!-- zookeeper to persists TokenIdentifiers and DelegationKeys  -->
<property>
    <name>zk-dt-secret-manager.kerberos.keytab</name>
    <value>/etc/security/keytabs/nn.service.keytab</value>
</property>

<property>
    <name>zk-dt-secret-manager.kerberos.principal</name>
    <value>nn/_HOST@OCDP.COM</value>
</property>

<property>
    <!-- 单独部署zk不开kerberos 配置为none -->
    <name>zk-dt-secret-manager.zkAuthType</name>
    <value>sasl</value>
</property>

<property>
    <name>zk-dt-secret-manager.zkConnectionString</name>
    <value>host-@@@-241-65:2181,host-@@@-241-68:2181,host-@@@-236-144:2181</value>
</property>

<!-- NameNode配置，配置所有router主机允许访问namenode  -->
<property>
    <name>hadoop.proxyuser.ocdp.hosts</name>
    <value>host-@@@-236-144,host-@@@-241-68,host-@@@-234-85</value>
    <final>false</final>
</property>

3.4 客户端配置：
客户端使用联合命名空间，它们需要创建一个指向路由器的新命名空间,并配置高可用模式。例如:
具有4个命名空间 ns0、ns1、ns2、ns3 的集群可以向hdfs-site.xml添加一个名为ns-fed的新命名空间,
它指向其中两个路由器,配置的是router对应的服务端口。

dfs.nameservices ns0,ns1,ns2,ns3,ns-fed dfs.ha.namenodes.ns-fed r1,r2 dfs.namenode.rpc-address.ns-fed.r1 router1:rpc-port dfs.namenode.rpc-address.ns-fed.r2 router2:rpc-port dfs.client.failover.proxy.provider.ns-fed org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider dfs.client.failover.random.order true hadoop.zk.address host-@@@-37-109:2181,host-@@@-37-110:2181,host-@@@-37-148:2181 dfs.nameservice.id ns1

注意：两个独立子集群开联邦，子集群需要配置所有子集群namenode和HA相关配置，hdfs读取配置时加载conf目录下所有配置，
yarn-site.xml会覆盖hdfs-site.xml 中hadoop.zk.address, 启动router的时候需要注意这个参数，单独配置。

4、启动router进程
Router的启动/停止方式和启动DN/NN类似, 作为一个独立进程, 也有自己单独的日志。

执行：hdfs --daemon start dfsrouter 命令启动联邦服务，默认端口8888。
#停止router： hdfs --daemon stop dfsrouter

独立部署需要指定配置目录：–config confdir 覆盖缺省配置目录，缺省是${HADOOP_HOME}/conf。

sunxunyong
关注
【HDFS】 bugfix: router getContentSummary rpc的bug修复
LifeIsGood
12-14 735
【HDFS】 bugfix: router getContentSummary rpc的bug修复
HDFS RBF的资源隔离设计
走在前往架构师的路上
06-15 4018
文章目录前言RBF的资源隔离和FCQ的资源隔离RBF的fairness管控原理引用 前言 Hadoop社区在HDFS-10467中实现了基于路由的federation功能，此功能比原先传统的HDFS federation+viewfs的方式有了很大的改进，真正做到了基于后端的路由映射，而不是viewfs在客户端做地址解析转发。基于后端来做的话，背后的mount映射管理权就归到了系统管理员身上了。...
Hadoop3.3.4 + HDFS Router-Based Federation配置
最新发布
snipercai的博客
06-21 1897
HDFS Router-based Federation 3.34
Hadoop-HDFS RBF
胡俊辉的博客
04-14 1367
在前文中提到，HDFS 联邦架构使得HDFS 的NameNode 具有可伸缩性，针对多个NameNode，用户该如何去使用这些NameNode 呢？常见的解决方案是针对联邦中的HDFS 子集群提供 联合视图 ViewFs。
HDFS Router-based Federation
weixin_30867015的博客
07-11 880
本文讲述了 HDFS Router-based Federation 的架构和特性。上期回顾：漫谈Hbase FilterAbstractHadoop 社区为了解决 HDFS 横向扩展的问题，早前的版本中实现了基于 ViewFs 的 Federation 架构，而在最新的 Hadoop 版本中，社区又实现了基于 Router 的 Federatio n架构，并且在这个架构之上还实现了许多增强集群管...
HDFS之Router-based Federation
zincooo的博客
08-02 1861
最简单的实现是在每个Namenode的机器上部署Router，但是为了高可用及灵活性，会使用多个Router监控同一个Namenode(State Store中冲突的信息由quorum解决)，这样即使Router失败也不会导致有问题。对于监控的Namenode，如果Router联系不到了active的Namenode，它会首先尝试访问standby Namenode，再去访问联系不上的Namenode。它能够管理并维护集群namespace的状态，将请求转发到正确的子集群，并且支持跨子集群的数据均衡。
HDFS Router-Based Federation Rebalancer.pdf_hdfs_
10-01
hdfs的源码深入学习，提升hdfs的使用水平
hadoop3.X版本特性：路由器联邦
nothair的博客
11-30 2375
2020/11/15 shq000912@163.com 文章目录一、路由器联邦（Router-based Federation/RBF）1.1背景1.2代理服务-Router层次设计1.3可用性和容错能力1.4接口1.5配额管理1.6 客户端-路由器配置(详见官网文档) 一、路由器联邦（Router-based Federation/RBF） 1.1背景 在 HDFS 单集群的架构中，随着集群规模的扩大，Block Manager 和Namespace 会消耗掉 NameNode 越来越多的资源，最终
HDFS RBF（基于路由的federation）的全局配额管理方案
走在前往架构师的路上
12-31 4197
前言 前不久时间，Apache Hadoop发布了新的基线版本-Hadoop 3.0.0正式发布，过去一段时间我们看到的发布版本都是各种3.0 alpha，beta版本。此次Hadoop 3.0正式发布，具有非常重大的意义。在此次Hadoop 3.0版本中的HDFS模块，除了EC（纠删码）外，还有一个Feature特性也值得我们关注–RBF（Router-based Federation，基
HDFS RBF支持多目标集群的挂载映射
走在前往架构师的路上
03-18 2712
前言 在RBF出现之前的ViewFS还是现在发布的RBF，目前支持的映射模式都是1对1的。什么意思呢？就是一个虚拟路径地址对一个实际集群地址。这种方式会有个弊端，如果写入的数据量很大，那么这个集群会出现容量用完的情况。针对这种潜在的“大路径”，其实我们可以希望他的目标集群地址可以有多个。这样就可以减轻单一集群的高负载现象了。但是如果支持配置多个地址，那么地址的选择策略将是一个很重要的环节了。...
HDFS RBF部署生产环境的难点和挑战
走在前往架构师的路上
03-27 3014
文章目录前言一. Router层面的潜在问题Router的性能测试，对请求延时的影响Router间如何做到本地状态的一致性Router对下游NN的统筹管理 前言 上篇文章笔者简单介绍了HDFS Federation新方案RBF里的connection管理。RBF虽说在功能上只是帮助client做请求转发的，在角色功能定位上相当于一个代理的角色。但RBF的这个“代理”远比我们平常说的代理服务要复杂许多。RBF的核心服务Router在设计实现上被赋予了远比普通代理服务更为全面，成熟的功能。因此集群维护者需要对
HDFS RBF 联邦企业级生产实战
跟着大数据和AI去旅行
01-29 1808
HDFS RBF 联邦企业级生产实战
【HDFS联邦（2）】HDFS Router-based Federation官网解读：HDFSRouterFederation的架构、各组件基本原理
hiliang521的博客
12-27 1774
>本文主要参考官网：[HDFSRouterFederation](https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs-rbf/HDFSRouterFederation.html) 对HDFSRouterFederation进行了解读： >1. viewfs会带来的问题，HDFSRouterFederation是如何解决的 >2. HDFSRouterFederation的架构、各组件基本原理说明
简单聊聊HDFS RBF第二阶段工作近期的一些进展
走在前往架构师的路上
05-05 2627
前言 前些时间Apache Hadoop 3.1.0版本正式发布，里面新增了很多feature以及一些bug fix,improvement改进。因为笔者本人最近几个月一直跟进，参与的是HDFS RBF这块，所以就简单聊聊这块所做的一些事情，旨在帮助大家方便了解这个feature具体做什么的。如果还有同学对RBF完全不太了解的，可以先阅读这篇博文：HDFS基于路由的Federation方案....
HDFS RBF 在车好多的应用
过往记忆大数据
07-02 1479
背景随着集群规模的不断扩张，文件数快速增长，目前集群的文件数已高达2.7亿，这带来了许多问题与挑战。首先是文件目录树的扩大导致的NameNode的堆内存持续上涨，其次是Fu...
HDFS RBF模式RPC吞吐量瓶颈的优化探索
热门推荐
走在前往架构师的路上
08-08 1万+
文章目录前言RBF模式的RPC吞吐量问题原因猜想网络延时的影响Router本身服务处理的影响 前言 之前笔者介绍过HDFS的RBF方案来解决HDFS NameNode单点瓶颈的问题。目前也是有越来有多的公司采用RBF的方案来做HDFS集群的统一管理。笔者在最近一段时间也是在调研RBF的特性同时也是测测这里面还有没有一些没有被发现的问题。在此期间，我和同事小伙伴发现里面最大的一个问题：上了RBF后，RPC的上限吞吐量比之前直连NN时降了非常之多。之前直连NN测试时，我们可以压到30k+的水准，在RBF模式下
HDFS RBF的Connection管理
走在前往架构师的路上
03-16 1万+
文章目录前言Connection管理的权衡问题RBF的Connection管理 前言 为了解决HDFS Federation下多集群的维护管理，Hadoop社区实现了Router-Based Federation（HDFS-10467）功能。此功能的强大之处在于它在client和集群NN服务之间新加了一层Router的服务。有了这个Router这个服务后，所有客户端的请求将会由这个Router负责转发给下游的NN节点。这样的话，客户端用户就不需要知道下游有哪些NN节点以及各个NN Namespace里分布
HDFS HA+Federation配置
来啊 快活啊
08-15 1777
两个nameservice，ns1和ns2，有两个高可用的NameNode。 1.core-site.xml文件 fs.defaultFS hdfs://ns1 dfs.journalnode.edits.dir /home/hihadoop/hadoop/jns
HDFS Router based基本概念
weixin_42305433的博客
08-10 2752
HDFS Router based基本概念背景整体架构关于Router关于Quota关于State Store关于安全关于部署关于挂载表如何增加一个挂载表Quotas的使用多个子集群的场景disable掉一个NameServiceRouter的一般刷新方式客户端配置Router的配置描述 背景 近期项目考虑解决HDFS节点的上限问题，HDFS单个的NameNode对存储、计算资源的限制，主要原因在单个NameNode存在瓶颈，所有文件索引信息以及HDFS Client的请求都集中在单个节点的服务，因此需要对
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值