前言
先前我们在配置文件里指定了文件系统为默认的HDFS,但此时hdfs在磁盘中并不存在,我们需要进行对文件系统进行格式化。
注意:
- 这里的格式化不是清空内容的那种磁盘格式化,而是一种对namenode的快照(初始化);
- 格式化只需对NameNode(名称节点)进行,也就是在master上进行;
一、格式化
1、目的
主要目的是为了在失败恢复期间能够恢复数据,从而保证文件系统的一致性。
2、格式化的内容
1)创建快照
创建了一个快照,记录了整个文件系统的状态。这个快照在失败恢复时非常有用,因为节点失败后,需要恢复到文件系统之前的一致性状态。
2)修复不一致问题
名称节点会检查并修复任何不一致的问题,以确保文件系统的完整性。
3)初始化元数据
初始化元数据(即文件和目录的属性、位置和大小等),这些元数据对于文件系统的操作至关重要。
4)创建目录树
创建一个文件系统目录树,该目录树描述了文件系统的结构和内容。这个目录树对于文件系统的操作和查询至关重要。
3、操作
在master上执行以下命令:
hdfs namenode -format
注意:
- 请一定不要多次format名称节点,这个命令只允许执行一次,多次执行会导致数据丢失和角色间互不相识;
- 如果你真的多次format了,可以通过删除所有节点的hadoop.tmp.dir目录(即你先前指定的hadoop数据存储路径),然后再重新format;
4、检验格式化结果
当看到以下这段话时,说明格式化成功,请不要再格式化了
如果格式化不成功,大概率是配置文件没有配置好,注意看给出的提示错误信息。