Federation机制和ErasureCoding策略

一、Federation机制

Federation机制是一种分布式系统中常用的协作模式，它能够实现不同系统之间的互联互通。 本文将介绍Federation机制的定义、原理、应用场景以及优缺点。 Federation机制是指将多个独立的系统或组织连接在一起，通过共享信息和资源，实现彼此之间的协作和交互。 这些系统或组织可以是不同的实体，可以是不同的国家、企业、组织或个人。

具体的操作过程：

1.关闭hadoop的hdfs和yarn

2.删除hdfs的数据和元数据

3.修改hdfs-site.xml配置文件

4.分发hdfs-site.xml配置文件

5.分别对bxm02和hadoop2进行格式化

6.启动hadoop集群

7.创建一个目录，不指定通讯地址这个目录默认情况下实在bxm02中创建的

8.通过子命令dfs的子命令-fs指定hadoop2运行namenode的rpc通信地址，对其namespace进行操作，创建目录/ns2data

9.查看bxm02和hadoop2运行的namenode管理的namespace根目录

二、ErasureCoding策略

ErasureCoding策略：HDFS默认情况下，一个文件有3个副本，这样提高了数据的可靠性，但也带来了2倍的冗余开销。Hadoop3.x引入了纠删码，采用计算的方式，可以节省约50％左右的存储空间。

具体的操作过程：

1.enablepolicy用于开启erasurecoding并指定erasurecoding策略

2.指定具体的目录指定策略setpolicy

3.getpolicy指令查看指定目录上的erasurecoding策略

4.unsetpolicy用于在指定目录上取消erasurecoding策略

5.disablepolicy用于关闭erasurecoding以及指定的erasurecoding策略