HDFS机架感知

最新推荐文章于 2024-12-19 14:32:53 发布

Ele_sorriu

最新推荐文章于 2024-12-19 14:32:53 发布

阅读量2.3w

点赞数 1

CC 4.0 BY-SA版权

文章标签： hadoop hdfs 大数据

本文链接：https://blog.youkuaiyun.com/Ele_sorriu/article/details/109036610

本文主要介绍了HDFS中机架感知的概念，旨在帮助读者掌握如何配置集群的机架感知。通过编写Python脚本`RackAware.py`来定义服务器IP与交换机的映射关系，并在开源Hadoop环境中应用`RackAware.sh`。验证配置正确性的关键步骤包括编辑core-site.xml配置文件，设置topology.script.file.name属性为脚本的路径。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

机架感知

目标：掌握集群的机架感知配置

机架感知需要人为进行配置，编写Python脚本“RackAware.py”。内容为服务器IP与交换机的对应关系。（开源hadoop,使用RackAware.sh）

#!/usr/bin/python  
#-*-coding:UTF-8 -*-  
import sys  
  
rack = {  

        "12.12.3.1":"SW6300-1",  
        "12.12.3.2":"SW6300-1",  
        "12.12.3.3":"SW6300-1",  
        "12.12.3.4":"SW6300-1",  
        "12.12.3.5":"SW6300-1",  
        "12.12.3.6":"SW6300-1",  

        "12.12.3.25":"SW6300-2",  
        "12.12.3.26":"SW6300-2",  
        "12.12.3.27":"SW6300-2",  
 
        "12.12.3.49":"SW6300-3",  
        "12.12.3.50":"SW6300-3",  
        "12.12.3.51":"SW6300-3",  
     
        "12.12.3.73":"SW6300-4",  
        "12.12.3.74":"SW6300-4",  
        &