Hadoop之——机架感知配置

最新推荐文章于 2022-03-26 14:57:30 发布
转载 最新推荐文章于 2022-03-26 14:57:30 发布 · 182 阅读 · 0

本文详细介绍了Hadoop中机架感知的配置方法及其实现原理，包括如何启用机架感知、配置核心参数以及编写脚本来正确映射节点到机架。此外，还讲解了如何在不重启NameNode的情况下增加数据节点，以及机架感知如何优化网络带宽和数据分布。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.youkuaiyun.com/l1028386804/article/details/51935169

转载请注明出处：http://blog.youkuaiyun.com/l1028386804/article/details/51935169

1.背景
      Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；同时，如果整个机架的网络出现异常，也能保证在其它机架的节点上找到数据。为了降低整体的带宽消耗和读取延时，HDFS会尽量让读取程序读取离它最近的副本。如果在读取程序的同一个机架上有一个副本，那么就读取该副本。如果一个HDFS集群跨越多个数据中心，那么客户端也将首先读本地数据中心的副本。那么Hadoop是如何确定任意两个节点是位于同一机架，还是跨机架的呢？答案就是机架感知。

     默认情况下，hadoop的机架感知是没有被启用的。所以，在通常情况下，hadoop集群的HDFS在选机器的时候，是随机选择的，也就是说，很有可能在写数据时，hadoop将第一块数据block1写到了rack1上，然后随机的选择下将block2写入到了rack2下，此时两个rack之间产生了数据传输的流量，再接下来，在随机的情况下，又将block3重新又写回了rack1，此时，两个rack之间又产生了一次数据流量。在job处理的数据量非常的大，或者往hadoop推送的数据量非常大的时候，这种情况会造成rack之间的网络流量成倍的上升，成为性能的瓶颈，进而影响作业的性能以至于整个集群的服务

2.配置

  默认情况下，namenode启动时候日志是这样的：

2016-07-17 17:27:26,423 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node:  /default-rack/ 192.168.147.92:50010
每个IP 对应的机架ID都是 /default-rack ，说明hadoop的机架感知没有被启用。
要将hadoop机架感知的功能启用，配置非常简单，在 NameNode所在节点的/home/bigdata/apps/hadoop/etc/hadoop的core-site.xml配置文件中配置一个选项: 


 
  1. 
   
    
    
    
   
    
   
    
    
    
     <property>
    
    
   
  2. 
   
    
    
    
   
    
   
    
    
      
     <name>topology.script.file.name
     </name>
    
    
   
  3. 
   
    
    
    
   
    
   
    
    
      
     <value>/home/bigdata/apps/hadoop/etc/hadoop/topology.sh
     </value>
    
    
   
  4. 
   
    
    
    
   
    
   
    
    
    
     </property>
这个配置选项的value指定为一个可执行程序，通常为一个脚本，该脚本接受一个参数，输出一个值。接受的参数通常为某台datanode机器的ip地址，而输出的值通常为该ip地址对应的datanode所在的rack，例如”/rack1”。Namenode启动时，会判断该配置选项是否为空，如果非空，则表示已经启用机架感知的配置，此时namenode会根据配置寻找该脚本，并在接收到每一个datanode的heartbeat时，将该datanode的ip地址作为参数传给该脚本运行，并将得到的输出作为该datanode所属的机架ID，保存到内存的一个map中.
      至于脚本的编写，就需要将真实的网络拓朴和机架信息了解清楚后，通过该脚本能够将机器的ip地址和机器名正确的映射到相应的机架上去。一个简单的实现如下： 


 
  1. 
   
    
    
    
   
    
   
    
    
    
     #!/bin/bash
    
    
   
  2. 
   
    
    
    
   
    
   
    
    
    
     HADOOP_CONF=/home/bigdata/apps/hadoop/etc/hadoop
    
    
   
  3. 
   
    
    
    
   
    
   
    
    
    
     while [ 
     $# -gt 0 ] ; 
     do
    
    
   
  4. 
   
    
    
    
   
    
   
    
    
    
       nodeArg=
     $1
    
    
   
  5. 
   
    
    
    
   
    
   
    
    
      
     exec<
     ${HADOOP_CONF}/topology.data
    
    
   
  6. 
   
    
    
    
   
    
   
    
    
    
       result=
     ""
    
    
   
  7. 
   
    
    
    
   
    
   
    
    
      
     while 
     read line ; 
     do
    
    
   
  8. 
   
    
    
    
   
    
   
    
    
    
         ar=( 
     $line )
    
    
   
  9. 
   
    
    
    
   
    
   
    
    
        
     if [ 
     "${ar[0]}" = 
     "$nodeArg" ]||[ 
     "${ar[1]}" = 
     "$nodeArg" ]; 
     then
    
    
   
  10. 
   
    
    
    
   
    
   
    
    
    
           result=
     "${ar[2]}"
    
    
   
  11. 
   
    
    
    
   
    
   
    
    
        
     fi
    
    
   
  12. 
   
    
    
    
   
    
   
    
    
      
     done
    
    
   
  13. 
   
    
    
    
   
    
   
    
    
      
     shift
    
    
   
  14. 
   
    
    
    
   
    
   
    
    
      
     if [ -z 
     "$result" ] ; 
     then
    
    
   
  15. 
   
    
    
    
   
    
   
    
    
        
     echo -n 
     "/default-rack"
    
    
   
  16. 
   
    
    
    
   
    
   
    
    
      
     else
    
    
   
  17. 
   
    
    
    
   
    
   
    
    
        
     echo -n 
     "$result"
    
    
   
  18. 
   
    
    
    
   
    
   
    
    
      
     fi
    
    
   
  19. 
   
    
    
    
   
    
   
    
    
      
     done
topology.data,格式为：节点（ip或主机名） /交换机xx/机架xx
192.168.147.91 tbe192168147091 /dc1/rack1
192.168.147.92 tbe192168147092 /dc1/rack1
192.168.147.93 tbe192168147093 /dc1/rack2
192.168.147.94 tbe192168147094 /dc1/rack3
192.168.147.95 tbe192168147095 /dc1/rack3
192.168.147.96 tbe192168147096 /dc1/rack3
需要注意的是，在Namenode上，该文件中的节点必须使用IP，使用主机名无效，而Jobtracker上，该文件中的节点必须使用主机名，使用IP无效,所以，最好ip和主机名都配上。
这样配置后，namenode启动时候日志是这样的： 

2016-07-17 17:16:27,272 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node:  /dc1/rack3/  192.168.147.94:50010
说明hadoop的机架感知已经被启用了。
查看HADOOP机架信息命令: 

 
  1. 
   
    
    
    
   
    
   
    
    
    
     ./hadoop dfsadmin -printTopology 
    
    
   
  2. 
   
    
    
    
   
    
   
    
    
    
     Rack: 
     /dc1/rack1
    
    
   
  3. 
   
    
    
    
   
    
   
    
    
       
     192.168
     .147
     .91:
     50010 (tbe192168147091)
    
    
   
  4. 
   
    
    
    
   
    
   
    
    
       
     192.168
     .147
     .92:
     50010 (tbe192168147092)
    
    
   
  5. 
   
    
    
    
   
    
   
    
    
     
    
    
   
  6. 
   
    
    
    
   
    
   
    
    
    
     Rack: 
     /dc1/rack2
    
    
   
  7. 
   
    
    
    
   
    
   
    
    
       
     192.168
     .147
     .93:
     50010 (tbe192168147093)
    
    
   
  8. 
   
    
    
    
   
    
   
    
    
     
    
    
   
  9. 
   
    
    
    
   
    
   
    
    
    
     Rack: 
     /dc1/rack3
    
    
   
  10. 
   
    
    
    
   
    
   
    
    
       
     192.168
     .147
     .94:
     50010 (tbe192168147094)
    
    
   
  11. 
   
    
    
    
   
    
   
    
    
       
     192.168
     .147
     .95:
     50010 (tbe192168147095)
    
    
   
  12. 
   
    
    
    
   
    
   
    
    
       
     192.168
     .147
     .96:
     50010 (tbe192168147096)

3.增加数据节点，不重启NameNode

假设Hadoop集群在192.168.147.68上部署了NameNode和DataNode,启用了机架感知，执行bin/hadoop dfsadmin -printTopology看到的结果：
Rack: /dc1/rack1
   192.168.147.68:50010 (dbj68)
现在想增加一个物理位置在rack2的数据节点192.168.147.69到集群中，不重启NameNode。
首先，修改NameNode节点的topology.data的配置，加入:192.168.147.69 dbj69 /dc1/rack2,保存。

192.168.147.68 dbj68 /dc1/rack1
192.168.147.69 dbj69 /dc1/rack2
然后，sbin/hadoop-daemons.sh start datanode启动数据节点dbj69,任意节点执行bin/hadoop dfsadmin -printTopology 看到的结果： 

 
  1. 
   
    
    
    
   
    
   
    
    
    
     Rack: 
     /dc1/rack1
    
    
   
  2. 
   
    
    
    
   
    
   
    
    
       
     192.168
     .147
     .68:
     50010 (dbj68)
    
    
   
  3. 
   
    
    
    
   
    
   
    
    
     
    
    
   
  4. 
   
    
    
    
   
    
   
    
    
    
     Rack: 
     /dc1/rack2
    
    
   
  5. 
   
    
    
    
   
    
   
    
    
       
     192.168
     .147
     .69:
     50010 (dbj69)
说明hadoop已经感知到了新加入的节点dbj69。
注意：如果不将dbj69的配置加入到topology.data中，执行sbin/hadoop-daemons.sh start datanode启动数据节点dbj69，datanode日志中会有异常发生，导致dbj69启动不成功。 

 
  1. 
   
    
    
    
   
    
   
    
    
    
     2016-07-17 10:51:33,502 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool BP-1732631201-192.168.147.68-1385000665316 (storage id DS-878525145-192.168.147.69-50010-1385002292231) service to dbj68/192.168.147.68:9000
    
    
   
  2. 
   
    
    
    
   
    
   
    
    
    
     org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.net.NetworkTopology$InvalidTopologyException): Invalid network topology. You cannot have a rack and a non-rack node at the same level of the network topology.
    
    
   
  3. 
   
    
    
    
   
    
   
    
    
    
       at org.apache.hadoop.net.NetworkTopology.add(NetworkTopology.java:382)
    
    
   
  4. 
   
    
    
    
   
    
   
    
    
    
       at org.apache.hadoop.hdfs.server.blockmanagement.DatanodeManager.registerDatanode(DatanodeManager.java:746)
    
    
   
  5. 
   
    
    
    
   
    
   
    
    
    
       at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.registerDatanode(FSNamesystem.java:3498)
    
    
   
  6. 
   
    
    
    
   
    
   
    
    
    
       at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.registerDatanode(NameNodeRpcServer.java:876)
    
    
   
  7. 
   
    
    
    
   
    
   
    
    
    
       at org.apache.hadoop.hdfs.protocolPB.DatanodeProtocolServerSideTranslatorPB.registerDatanode(DatanodeProtocolServerSideTranslatorPB.java:91)
    
    
   
  8. 
   
    
    
    
   
    
   
    
    
    
       at org.apache.hadoop.hdfs.protocol.proto.DatanodeProtocolProtos$DatanodeProtocolService$2.callBlockingMethod(DatanodeProtocolProtos.java:20018)
    
    
   
  9. 
   
    
    
    
   
    
   
    
    
    
       at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:453)
    
    
   
  10. 
   
    
    
    
   
    
   
    
    
    
       at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1002)
    
    
   
  11. 
   
    
    
    
   
    
   
    
    
    
       at org.apache.hadoop.ipc.Server$
     Handler$
     1.run(Server.java:
     1701)
    
    
   
  12. 
   
    
    
    
   
    
   
    
    
      
     at org.apache.hadoop.ipc.Server$
     Handler$
     1.run(Server.java:
     1697)
    
    
   
  13. 
   
    
    
    
   
    
   
    
    
      
     at java.security.AccessController.doPrivileged(
     Native Method)
    
    
   
  14. 
   
    
    
    
   
    
   
    
    
      
     at javax.security.auth.Subject.doAs(Subject.java:
     415)
    
    
   
  15. 
   
    
    
    
   
    
   
    
    
      
     at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:
     1408)
    
    
   
  16. 
   
    
    
    
   
    
   
    
    
      
     at org.apache.hadoop.ipc.Server$Handler.run(Server.java:
     1695)
    
    
   
  17. 
   
    
    
    
   
    
   
    
    
     
    
    
   
  18. 
   
    
    
    
   
    
   
    
    
      
     at org.apache.hadoop.ipc.Client.call(Client.java:
     1231)
    
    
   
  19. 
   
    
    
    
   
    
   
    
    
      
     at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:
     202)
    
    
   
  20. 
   
    
    
    
   
    
   
    
    
      
     at $Proxy10.registerDatanode(
     Unknown 
     Source)
    
    
   
  21. 
   
    
    
    
   
    
   
    
    
      
     at sun.reflect.NativeMethodAccessorImpl.invoke0(
     Native Method)
    
    
   
  22. 
   
    
    
    
   
    
   
    
    
      
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:
     57)
    
    
   
  23. 
   
    
    
    
   
    
   
    
    
      
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:
     43)
    
    
   
  24. 
   
    
    
    
   
    
   
    
    
      
     at java.lang.reflect.Method.invoke(Method.java:
     601)
    
    
   
  25. 
   
    
    
    
   
    
   
    
    
      
     at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:
     164)
    
    
   
  26. 
   
    
    
    
   
    
   
    
    
      
     at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:
     83)
    
    
   
  27. 
   
    
    
    
   
    
   
    
    
      
     at $Proxy10.registerDatanode(
     Unknown 
     Source)
    
    
   
  28. 
   
    
    
    
   
    
   
    
    
      
     at org.apache.hadoop.hdfs.protocolPB.DatanodeProtocolClientSideTranslatorPB.registerDatanode(DatanodeProtocolClientSideTranslatorPB.java:
     149)
    
    
   
  29. 
   
    
    
    
   
    
   
    
    
      
     at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.register(BPServiceActor.java:
     619)
    
    
   
  30. 
   
    
    
    
   
    
   
    
    
      
     at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:
     221)
    
    
   
  31. 
   
    
    
    
   
    
   
    
    
      
     at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:
     660)
    
    
   
  32. 
   
    
    
    
   
    
   
    
    
      
     at java.lang.Thread.run(Thread.java:
     722)

4.节点间距离计算

有了机架感知，NameNode就可以画出下图所示的datanode网络拓扑图。D1,R1都是交换机，最底层是datanode。则H1的rackid=/D1/R1/H1，H1的parent是R1，R1的是D1。这些rackid信息可以通过topology.script.file.name配置。有了这些rackid信息就可以计算出任意两台datanode之间的距离，得到最优的存放策略，优化整个集群的网络带宽均衡以及数据最优分配。


 
  1. 
   
    
    
    
   
    
   
    
    
    
     distance(
     /D1/R1/H1,
     /D1/R1/H1)=
     0  相同的datanode
    
    
   
  2. 
   
    
    
    
   
    
   
    
    
    
     distance(
     /D1/R1/H1,
     /D1/R1/H2)=
     2  同一rack下的不同datanode
    
    
   
  3. 
   
    
    
    
   
    
   
    
    
    
     distance(
     /D1/R1/H1,
     /D1/R2/H4)=
     4  同一IDC下的不同datanode
    
    
   
  4. 
   
    
    
    
   
    
   
    
    
    
     distance(
     /D1/R1/H1,
     /D2/R3/H7)=
     6  不同IDC下的datanode
    
    
   

 

				<script>
					(function(){
						function setArticleH(btnReadmore,posi){
							var winH = $(window).height();
							var articleBox = $("div.article_content");
							var artH = articleBox.height();
							if(artH > winH*posi){
								articleBox.css({
									'height':winH*posi+'px',
									'overflow':'hidden'
								})
								btnReadmore.click(function(){
									articleBox.removeAttr("style");
									$(this).parent().remove();
								})
							}else{
								btnReadmore.parent().remove();
							}
						}
						var btnReadmore = $("#btn-readmore");
						if(btnReadmore.length>0){
							if(currentUserName){
								setArticleH(btnReadmore,3);
							}else{
								setArticleH(btnReadmore,1.2);
							}
						}
					})()
				</script>
				</article>
hadoop机架感知配置——HDFS
weixin_44915822的博客
10-08 5630
编辑core-site.xml配置文件，将脚本配置为topology.script.file.name的值 进入到 /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop 的位置编辑core-site.xml配置文件，将下面的代码添加到文件的末尾并保存 topology.script.file.name /home/bigdata/apps/hadoop/etc/hadoop/RackAware.py 最后进入到 /export/servers/hadoop-
Hadoop——机架感知
Enche的博客
02-21 500
Hadoop中副本在不同节点之间的复制需要消耗资源，为了充分发挥Hadoop的性能，Hadoop需要配置机架感知，这可以让Hadoop通过网络拓扑图计算不同节点之间的距离，因此来减少数据传输消耗的资源。 通过Hadoop官网我们知道，不配置机架感知，所有的都默认为/default-rack，可以通过命令hadoop dfsamin -printTopology来查看Hadoop的网络拓扑情况。 ...
机架感知
dengbenji的专栏
09-22 513
1.背景 Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；同时，如果整个机架的网络出现异常，也能保证在其它机架的节点上找到数据。为了降低整体的带宽消耗和读取延时，HDFS会尽量让...
Hadoop机架感知（rack-aware)配置
蚂蚁搬家
06-07 3511
副本的存放策略又是HDFS实现高可靠性和搞性能的关键，优化的副本存放策略也正是HDFS区分于其他大部分分布式文件系统的重要特性。HDFS采用一种称为机架感知（rack-aware）的策略来改进数据的可靠性、可用性和网络带宽的利用率。大型HDFS实例一般运行在跨越多个机架的计算机组成的机群上，不同机架上的两台机器之间的通信需要经过交换机，这样会增加数据传输的成本。在大多数情况下，同一机架内的两台机器...
hadoop机架感知
weixin_34261415的博客
01-03 265
背景     分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。     具体到Hadoop集群，由于hadoop的HDFS对数据文件的分布式存放是按照分块block存储...
【Hadoop】Hadoop 机架感知配置、原理
weixin_34265814的博客
09-13 216
Hadoop机架感知 1.背景 Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份， 同机架内其它某一节点上一份，不同机架的某一节点上一份。 这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快； 同时，如果整个机架的网络出现异常，也能保证在其它机架的节点上找到数据。...
hadoop2.7.3 自定义实现机架感知(Java版本)
04-30
博客Hadoop机架感知配置自主实现的jar包 http://blog.youkuaiyun.com/lemonZhaoTao/article/details/70991813
HDFS中副本存储节点选择——机架感知
m0_56066550的博客
12-09 1947
HDFS中副本存储节点的选择是根据机架感知来选择的。 副本数量默认为3。可以通过配置进行修改，但设置副本数应满足不大于DataNode的数量。比如目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数最多才能达到10。 副本节点选择的原则（以副本数为3举例）： 第一个副本：在Client所在的节点上，如果客户端在集群外，则随机挑选一个节点。 第二个副本：在另一个机架上随机挑选一个节点。 第三个副本：在第二个副本所在的机架内再随机挑选一个节点。 机架感知官方说明（附中文翻译）：
【IT十八掌徐培成】Hadoop第04天-03.机架感知测试.zip
08-13
机架感知测试.zip"聚焦于Hadoop的一个核心特性——机架感知（Rack Awareness）。这一特性对于优化Hadoop集群的性能和容错性至关重要。以下将详细介绍机架感知的概念、作用以及如何进行测试。 首先，理解什么是机架...
Hadoop机架感知
IT晓白
10-08 1077
目的：增加性能 原因：同机架io快。可以两个块部署统一机架的不同机器。 前提：是集群搭建开启成功 1.查看机架感知：hdfs dfsadmin -printTopology 2. 增加机架感知(一下都是在master（NameNode）上操作) a.修改core-site.xml,将下面内容添加进去 <property> <name>topolog...
机架感知(RackAwareness)
IT_探的博客
10-19 5435
一、背景         分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。         在这种情况下，                 -- 希望不同节点之间的通...
Hadoop 配置机架感知
qq_27347421的博客
02-06 495
HDFS 集群的机架感知 背景 Hadoop 的设计目的：解决海量大文件的处理问题，主要指大数据的存储和计算问题，其中，HDFS 解决数据的存储问题；MapReduce解决数据的计算问题。 Hadoop 的设计考虑：设计分布式的存储和计算解决方案架构在廉价的集群之上，所以，服务器节点出现宕机的情况是常态。数据的安全是重要考虑点。HDFS 的核心设计思路就是对 用户存进 HDFS里的所有数据都做冗...
HDFS机架感知
Dawn的博客
03-26 3589
原文链接：https://weixiaodyanlei.xyz/archives/hdfs-ji-jia-gan-zhi Hadoop版本：2.9.2 什么是机架感知 通常大型 Hadoop 集群是以机架的形式来组织的，同一个机架上的不同节点间的网络状况比不同机架之间的更为理想，NameNode 设法将数据块副本保存在不同的机架上以提高容错性。 HDFS 不能够自动判断集群中各个 DataNode 的网络状况情况，Hadoop 允许集群的管理员通过配置 net.topology.script.file.
Hadoop机架感知配置
Running_Tiger的博客
03-14 571
Hadoop机架感知配置1、存储策略Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；同时，如果整个机架的网络出现异常，也能保证在其它机架的节点上找到数据。为了降低整体的带宽消耗和读取延时，HDFS会尽
hadoop-机架感知配置
热门推荐
qq_21853321的博客
10-09 5万+
机架感知配置 第一步： 机架感知需要人为进行配置，编写Python脚本“RackAware.py”。内容为服务器IP与交换机的对应关系。 #!/usr/bin/python #-*-coding:UTF-8 -*- import sys rack = { "192.168.10.100":"NODE-SW001", "192.168.10.101":"NODE-SW002", "192.168.10.102":"NODE-S
hadoop 机架感知配置
weixin_30670925的博客
07-17 221
机架感知脚本 使用python3编写机架感知脚本，报存到topology.py，给予执行权限 import sys import os DEFAULT_RACK="/default-rack" HADOOP_CONF_DIR = os.environ['HADOOP_CONF_DIR'] FILE="topology.data" host_rack={} f...
hdfs机架感知
最新发布
03-18
### HDFS 的机架感知配置及工作原理 #### 一、HDFS 机架感知的工作原理 HDFS 的机架感知是为了优化数据存储和读取效率而设计的一种机制。它通过识别节点在网络中的位置来决定数据块的分布方式，从而减少跨机架的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值