Hadoop调优手册(5)——HDFS存储优化

1.纠删码

HDFS默认情况下，一个文件存在多个副本，这样提高了数据的可靠性，但是也占用了更多的存储空间。所以，在Hadoop3.x中引入了纠删码，采用计算的方式，牺牲一部分算力，节约大量的存储空间。

* 纠删码相关操作命令

使用命令 hdfs ec 查看纠删码相关的操作命令

[admin@hadoop102 ~]$ hdfs ec
Usage: bin/hdfs ec [COMMAND]
          [-listPolicies]
          [-addPolicies -policyFile <file>]
          [-getPolicy -path <path>]
          [-removePolicy -policy <policy>]
          [-setPolicy -path <path> [-policy <policy>] [-replicate]]
          [-unsetPolicy -path <path>]
          [-listCodecs]
          [-enablePolicy -policy <policy>]
          [-disablePolicy -policy <policy>]
          [-help <command-name>]

命令说明：
-listPolicies ：查看当前支持的纠删码策略。
-addPolicies ：增加纠删码策略
-getPolicy ：查看某一路径设置的策略
-removePolicy ：删除支持的纠删码策略
-setPolicy ：给某一路径设置指定的纠删码策略
-unsetPoli