HDFS集群机架感知配置

进入配置文件目录

cd /root/apps/hadoop-2.7.5/etc/hadoop

1、修改配置文件core-site.xml
vim core-site.xml
<configuration>
<property>
<name>topology.script.file.name</name>
<value>/root/apps/hadoop-2.7.5/etc/hadoop/topology.sh</value>
</property>
</configuration>

2、创建topology.sh
vim topology.sh
#!/bin/bash
HADOOP_CONF=/root/apps/hadoop-2.7.5/etc/hadoop
while [ $# -gt 0 ] ;
do
 nodeArg=$1
 exec<${HADOOP_CONF}/topology.data
 result=""
 while read line
 do
 ar=( $line )
 if [ "${ar[0]}" = "$nodeArg" ]||[ "${ar[1]}" = "$nodeArg" ]
 then
 result="${ar[2]}"
 fi
 done
 shift
 if [ -z "$result" ]
 then
 echo -n "/default-rack"
 else
 echo -n "$result"
 fi
done

3、创建topology.data
vim topology.data
192.168.123.101 hadoop01        /switch1/rack1
192.168.123.102 hadoop02        /switch1/rack1
192.168.123.103 hadoop03        /switch2/rack2
192.168.123.104 hadoop04        /switch2/rack2

4、修改文件权限
chmod 777 topology.sh topology.data

5、验证机架感知

hdfs dfsadmin -printTopology

### HDFS机架感知配置及工作原理 #### 一、HDFS 机架感知的工作原理 HDFS机架感知是为了优化数据存储和读取效率而设计的一种机制。它通过识别节点在网络中的位置来决定数据块的分布方式,从而减少跨机架的数据传输开销并提升系统的可靠性。 具体来说,在默认情况下,HDFS 使用三副本策略保存文件数据块。第一个副本通常存放在写入请求所在的节点上;第二个副本会被放置到另一个不同的机架上的某个 DataNode 中;第三个副本则被放到与第二个副本相同的机架但不同节点的位置[^3]。这种布局能够有效降低单个机架故障带来的风险,同时也提高了数据访问速度。 #### 二、HDFS 机架感知配置方法 要启用 HDFS机架感知功能,管理员需要完成以下几个方面的设置: 1. **定义网络拓扑结构** 需要在 `core-site.xml` 文件中指定脚本路径用于解析 IP 地址对应的物理位置关系(即所谓的“反向 DNS 查询”)。此脚本应返回类似于 `/rackX/datacenterY` 这样的字符串表示形式。 ```xml <property> <name>topology.script.file.name</name> <value>/path/to/rack-awareness-script.sh</value> </property> ``` 2. **编写 Rack-Aware 脚本** 创建一个可执行 Shell 或其他语言编写的程序用来接收传入参数——DataNodes 的主机名/IP地址列表,并输出相应的机架信息。例如: ```bash #!/bin/bash case $1 in node1|node2) echo "/rack1" ;; node3|node4) echo "/rack2" ;; *) echo "/default-rack" ;; esac ``` 上述例子简单演示了一个小型集群内的两层架构划分逻辑。 #### 三、HDFS 主节点故障切换机制概述 对于 NameNode 的高可用性保障方面,现代版本的 Apache Hadoop 提供了两种主要解决方案:ZooKeeper Failover Controller 和 Quorum Journal Manager (QJM)[^4]。前者依赖外部协调服务 Zookeeper 实现自动化的 Master Election 流程;后者则是基于共享日志存储实现同步更新元数据变更记录的目的。 当 Active NN 出现异常停止运行时,Standby NN 将接管其职责成为新的活动实例继续提供对外的服务接口。整个过程涉及到了一系列复杂的内部通信协议以及状态迁移操作,确保整个转换期间不会丢失任何未提交事务或者破坏已有的一致性约束条件。 ```python from kazoo.client import KazooClient zk = KazooClient(hosts='localhost:2181') zk.start() @zk.ChildrenWatch("/hadoop-ha/ha-cluster") def watch_children(children): print("Current active namenode:", children[0]) # Ensure proper cleanup on exit. try: pass # Your application logic here... finally: zk.stop() ``` 以上 Python 示例展示了如何利用 Kazoo 库监听 HA 模式下 NameNodes 的选举事件变化情况。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值