HDFS副本存放策略

HDFS 的副本存放策略是其实现高可靠性和高可用性的核心机制。这个策略不仅考虑了数据安全，
还充分优化了网络带宽和读取性能。

一、副本存放策略的核心目标
设计原则
数据可靠性：防止单点故障导致数据丢失
读取性能：最大化数据读取的带宽和速度
网络优化：最小化跨机架网络传输
负载均衡：避免数据热点和单节点过载
二、默认副本策略（机架感知）
Hadoop 2.x/3.x 的默认策略

chart TD
    A[客户端写入数据块] 
	--> B[选择第一个副本位置]
    B --> C{客户端是否在集群中?}
    C -->|是| D[与客户端同节点]
    C -->|否| E[随机选择负载较低的节点]
    D --> F[第二个副本: 不同机架]
    E --> F
    F --> G[第三个副本: 与第二个副本同机架<br>但不同节点]
    F --> H[更多副本: 随机选择,但保证每个机架副本数不超过上限]

#详细存放规则
对于默认的3副本策略：

第一个副本：
如果客户端在集群内：存放在客户端所在节点
如果客户端在集群外：随机选择负载较低的节点

第二个副本：
存放在不同机架的另一个节点上

第三个副本：
存放在与第二个副本相同机架的不同节点上

配置示例
xml
<!-- 在 hdfs-site.xml 中配置副本因子 -->
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>

<!-- 机架感知脚本 -->
<property>
    <name>net.topology.script.file.name</name>
    <value>/etc/hadoop/conf/rack-awareness.sh</value>
</property>

三、机架感知配置
1. 机架感知脚本
bash
#!/bin/bash
# /etc/hadoop/conf/rack-awareness.sh

# 根据IP地址或主机名判断机架信息
while [ $# -gt 0 ] ; do
    nodeArg=$1
    shift
    
    # 示例：根据IP段划分机架
    ip=$(host $nodeArg | awk '{print $4}')
    
    if [[ $ip =~ ^10\.1\.[0-9]+\.[0-9]+$ ]]; then
        echo "/rack1"
    elif [[ $ip =~ ^10\.2\.[0-9]+\.[0-9]+$ ]]; then
        echo "/rack2"
    else
        echo "/default-rack"
    fi
done
2. 验证机架感知
bash
# 查看节点的机架信息
hdfs dfsadmin -printTopology

# 检查具体文件的块位置
hdfs fsck <file_path> -files -blocks -locations

# 示例输出：
# /user/data/file.txt
# Block: blk_1073741825_1001
# Replicas: 192.168.1.101:50010 (rack1), 
#           192.168.2.102:50010 (rack2), 
#           192.168.2.103:50010 (rack2)

四、策略优势分析
1. 可靠性保障
bash
# 模拟机架故障时的数据可用性
# 即使整个 rack1 宕机，数据仍然可用
# 因为 rack2 中有两个副本
2. 带宽优化
写操作：只需要跨机架传输一个副本
读操作：优先从本地或同机架读取，减少跨机架带宽消耗

3. 故障恢复
当副本数量不足时，HDFS 会自动触发复制：

bash
# 查看缺失副本的文件
hdfs fsck / -list-corruptfileblocks

# 手动触发复制平衡
hdfs balancer -threshold 10

五、自定义副本存放策略
1. 实现自定义策略
java
public class CustomBlockPlacementPolicy extends BlockPlacementPolicyDefault {
    
    @Override
    protected DatanodeStorageInfo chooseLocalStorage(Node localMachine,
        Map<Node, DatanodeStorageInfo> excludedNodes, long blocksize,
        int maxNodesPerRack, List<DatanodeStorageInfo> results,
        boolean avoidStaleNodes, EnumSet<StorageType> storageTypes) {
        // 自定义存储选择逻辑
    }
    
    @Override
    protected DatanodeStorageInfo chooseRemoteRack(int numOfReplicas,
        DatanodeDescriptor localNode, Map<Node, DatanodeStorageInfo> excludedNodes,
        long blocksize, int maxReplicasPerRack, List<DatanodeStorageInfo> results,
        boolean avoidStaleNodes, EnumSet<StorageType> storageTypes) {
        // 自定义远程机架选择逻辑
    }
}
2. 配置自定义策略
xml
<property>
    <name>dfs.block.replicator.classname</name>
    <value>com.company.CustomBlockPlacementPolicy</value>
</property>

六、多机房部署策略
跨机房副本分布
xml
<!-- 对于3副本跨2机房部署 -->
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>

<!-- 机架配置示例 -->
<!-- 机房1: /dc1/rack1, /dc1/rack2 -->
<!-- 机房2: /dc2/rack1 -->

策略建议：
2个副本在本地机房（不同机架）
1个副本在远程机房

七、存储类型策略
Hadoop 2.6+ 支持存储类型策略：

1. 存储类型定义
xml
<property>
    <name>dfs.datanode.data.dir</name>
    <value>[DISK]file:///hdfs/disk,[SSD]file:///hdfs/ssd,[ARCHIVE]file:///hdfs/archive</value>
</property>

2. 存储策略配置
bash
# 查看所有存储策略
hdfs storagepolicies -listPolicies

# 设置文件存储策略
hdfs storagepolicies -setStoragePolicy -path /hot-data -policy HOT
hdfs storagepolicies -setStoragePolicy -path /cold-data -policy COLD
3. 可用存储策略
策略名称		|副本分布	|适用场景
HOT				|所有副本在DISK	热数据，频繁访问
COLD			|所有副本在ARCHIVE				|归档数据，很少访问
WARM			|1个副本在DISK，其余在ARCHIVE	|温数据，偶尔访问
ALL_SSD			|所有副本在SSD					|高性能需求
ONE_SSD			|1个副本在SSD，其余在DISK		|平衡性能和成本
LAZY_PERSIST	|1个副本在内存，其余在DISK		|临时数据，写性能要求高

八、运维监控命令
1. 副本状态检查
bash
# 检查文件块副本状态
hdfs fsck /path/to/file -files -blocks -locations

# 检查整个HDFS的副本状态
hdfs fsck / -files -blocks -racks

# 查看副本不足的文件
hdfs fsck / -list-corruptfileblocks
2. 机架拓扑查看
bash
# 查看集群拓扑结构
hdfs dfsadmin -printTopology

# 查看数据节点信息
hdfs dfsadmin -report

# 查看存储容量和使用情况
hdfs dfs -df -h
3. 副本管理操作
bash
# 手动设置文件副本数
hdfs dfs -setrep -w 5 /path/to/file

# 修改目录下所有文件的副本数
hdfs dfs -setrep -R -w 3 /path/to/directory

# 触发副本重新复制
hdfs debug recoverLease -path /path/to/file -retries 3

九、最佳实践建议
1. 副本因子选择
bash
# 根据数据重要性设置不同副本数
# 关键数据：3-5副本
hdfs dfs -setrep -w 5 /critical-data

# 普通数据：3副本（默认）
hdfs dfs -setrep -w 3 /normal-data

# 临时数据：2副本
hdfs dfs -setrep -w 2 /temp-data
2. 机架规划建议
每个机架节点数尽量均衡
机架间网络带宽充足
避免单机架包含过多关键数据

3. 监控告警设置
bash
# 监控副本缺失的脚本
#!/bin/bash
UNDER_REPLICATED=$(hdfs fsck / | grep "Under replicated" | awk '{print $3}')

if [ $UNDER_REPLICATED -gt 10 ]; then
    echo "ALERT: $UNDER_REPLICATED blocks are under replicated!" | mail -s "HDFS Alert" admin@company.com
fi

#总结
HDFS 的副本存放策略通过巧妙的机架感知设计，在保证数据可靠性的同时，优化了网络带宽使用和读取性能。
理解并正确配置这些策略，对于构建高效、稳定的HDFS集群至关重要。

关键要点：
默认的3副本策略在可靠性和成本间取得平衡
机架感知是优化网络性能的关键
根据数据访问模式选择合适的存储策略
定期监控副本状态，及时处理异常情况