Hadoop（33）：Hadoop调优之HDFS存储优化

最新推荐文章于 2023-10-21 01:28:07 发布

原创

最新推荐文章于 2023-10-21 01:28:07 发布 · 1k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#java #java进阶 #后端

本文详细介绍了Hadoop HDFS的存储优化，包括纠删码的原理与操作，以及异构存储（冷热数据分离）的策略，如HOT、WARM、COLD、ONE_SSD、ALL_SSD和LAZY_PERSIST等策略的实践应用。

2.9.?LAZY_PERSIST策略测试

0. 相关文章链接

Hadoop & Hive 文章汇总

1. 纠删码

1.1. 纠删码原理

注：演示纠删码和异构存储需要一共5台虚拟机。尽量拿另外一套集群。提前准备5台服务器的集群。

HDFS默认情况下，一个文件有3个副本，这样提高了数据的可靠性，但也带来了2倍的冗余开销。Hadoop3.x引入了纠删码，采用计算的方式，可以节省约50％左右的存储空间。

1）纠删码操作相关的命令

$ hdfs ec
Usage: bin/hdfs ec [COMMAND]
[-listPolicies]
[-addPolicies -policyFile ]
[-getPolicy -path ]
[-removePolicy -policy ]
[-setPolicy -path [-policy ] [-replicate]]
[-unsetPolicy -path ]
[-listCodecs]
[-enablePolicy -policy ]
[-disablePolicy -policy ]
[-help ].