Hadoop（33）：Hadoop调优之HDFS存储优化

目录

0. 相关文章链接

1. 纠删码

1.1. 纠删码原理

1.2.?纠删码案例实操

2.?异构存储（冷热数据分离）

2.1. 什么是异构存储

2.2.?异构存储Shell操作

2.3.?测试环境准备

2.4.?HOT存储策略案例

2.5.?WARM存储策略测试

2.6. COLD策略测试

2.7.?ONE_SSD策略测试

2.8.?ALL_SSD策略测试

2.9.?LAZY_PERSIST策略测试

---

0. 相关文章链接

Hadoop & Hive 文章汇总

1. 纠删码

1.1. 纠删码原理

注：演示纠删码和异构存储需要一共5台虚拟机。尽量拿另外一套集群。提前准备5台服务器的集群。

HDFS默认情况下，一个文件有3个副本，这样提高了数据的可靠性，但也带来了2倍的冗余开销。Hadoop3.x引入了纠删码，采用计算的方式，可以节省约50％左右的存储空间。

1）纠删码操作相关的命令

$ hdfs ec
Usage: bin/hdfs ec [COMMAND]
[-listPolicies]
[-addPolicies -policyFile ]
[-getPolicy -path ]
[-removePolicy -policy ]
[-setPolicy -path [-policy ] [-replicate]]
[-unsetPolicy -path ]
[-listCodecs]
[-enablePolicy -policy ]
[-disablePolicy -policy ]
[-help ].

2）查看当前支持的纠删码策略

$ hdfs ec -listPolicies

Erasure Coding Policies:

ErasureCodingPolicy=[Name=RS-10-4-1024k,