HDFS机架感知

最新推荐文章于 2025-06-28 13:58:35 发布

原创

最新推荐文章于 2025-06-28 13:58:35 发布 · 2.3w 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #hdfs #大数据

本文主要介绍了HDFS中机架感知的概念，旨在帮助读者掌握如何配置集群的机架感知。通过编写Python脚本`RackAware.py`来定义服务器IP与交换机的映射关系，并在开源Hadoop环境中应用`RackAware.sh`。验证配置正确性的关键步骤包括编辑core-site.xml配置文件，设置topology.script.file.name属性为脚本的路径。

机架感知

目标：掌握集群的机架感知配置

机架感知需要人为进行配置，编写Python脚本“RackAware.py”。内容为服务器IP与交换机的对应关系。（开源hadoop,使用RackAware.sh）

#!/usr/bin/python  
#-*-coding:UTF-8 -*-  
import sys  
  
rack = {  

        "12.12.3.1":"SW6300-1",  
        "12.12.3.2":"SW6300-1",  
        "12.12.3.3":"SW6300-1",  
        "12.12.3.4":"SW6300-1",  
        "12.12.3.5":"SW6300-1",  
        "12.12.3.6":"SW6300-1",  

        "12.12.3.25":"SW6300-2",  
        "12.12.3.26":"SW6300-2",  
        "12.12.3.27":"SW6300-2",  
 
        "12.12.3.49":"SW6300-3",  
        "12.12.3.50":"SW6300-3",  
        "12.12.3.51":"SW6300-3",  
     
        "12.12.3.73":"SW6300-4",  
        "12.12.3.74":"SW6300-4",  
        "12.12.3.75":"SW6300-4",  
		}  
if __name__=="__main__":  
    print "/" + rack.get(sys.argv[1],"SW6300-1-2")

使用以下命令验证

[root@node01 sbin]# python RackAware.py 12.12.3.1
/SW6300-1 
[root@node01 sbin]# python RackAware.py

最低0.47元/天解锁文章