(4-3)查看fsimage和edits

本文详细介绍了如何使用HDFS进行文件系统管理,包括查看fsimage和edits文件内容的方法,以及如何导出这些文件为XML格式进行进一步分析。
查看fsimage文件内容
启动:
bin/hdfs oiv -i /usr/local/mydata/dfs/name/current/fsimage_0000000000000000254


查看:
bin/hdfs dfs -ls -R webhdfs://127.0.0.1:5978/


bin/hdfs -ls -R /



不启动的话:
[root@i-love-you hadoop]# bin/hdfs dfs -ls -R webhdfs://127.0.0.1:5978/
ls: 拒绝连接





查看edits文件内容:
edits:
导出以xml文件显示:
bin/hdfs oev -i /usr/local/mydata/dfs/name/current/edits_0000000000000000009-0000000000000000009 -o edit.xml

fsimage:
导出以xml文件显示:
bin/hdfs oiv -p XML -i /usr/local/mydata/dfs/name/current/fsimage_0000000000000000254 -o fsimage.xml




[root@i-love-you hadoop]# bin/hdfs oev -i /usr/local/mydata/dfs/name/current/edits_0000000000000000009-0000000000000000009 -o edit.xml
[root@i-love-you hadoop]# bin/hdfs oiv -p XML -i /usr/local/mydata/dfs/name/current/fsimage_0000000000000000254 -o fsimage.xml
[root@i-love-you hadoop]#





fsimage:元数据镜像文件。存储某一段时间NameNode内存元数据信息。
edits:操作日志文件。
fstime:保存最近一次checkpoint的时间。





NameNode的文件可以存储在多个路径。





### HDFS 中 fsimage 文件为空文件系统时的状态 当 HDFS 刚初始化或者是一个全新的空文件系统时,`fsimage` 文件会非常简单,因为它只包含根目录 `/` 的元数据信息。此时 `fsimage` 文件仅存储了一个 inode 对象来表示根目录的存在[^1]。 具体来说,这种状态下的 `fsimage` 文件不会包含任何实际的数据节点或子目录信息,仅仅描述了根目录的属性(如权限、修改时间等)。这使得初始状态的 `fsimage` 非常轻量级,并且易于解析加载到内存中。 --- ### 使用 hdfs oiv hdfs oev 命令查看 fsimage edits 文件内容的方法 #### 查看 fsimage 文件 为了能够直观地理解 `fsimage` 文件的内容,可以使用 `hdfs oiv` 工具将其转换为可读格式。以下是具体的命令: ```bash hdfs oiv -p XML -i <输入的fsimage文件> -o <输出的目标文件> ``` 例如: ```bash hdfs oiv -p XML -i fsimage_0000000000000000829 -o /opt/module/hadoop-3.1.3/fsimage_copy.xml ``` 上述命令将指定的 `fsimage` 文件以 XML 格式导出至目标位置,便于通过文本编辑器或其他工具进一步分析其结构内容[^2]。 #### 查看 edits 文件 对于 `edits` 文件,则可以通过 `hdfs oev` 工具实现类似的可视化处理过程。该工具允许用户提取并展示所有的日志条目及其对应的变更操作详情。下面是基本的操作方式: ```bash hdfs oev -p XML -i <输入的edits文件> -o <输出的目标文件> ``` 比如: ```bash hdfs oev -p XML -i edits_0000000000000000829 -o /opt/module/hadoop-3.1.3/edits_copy.xml ``` 此命令同样采用 XML 形式作为输出,默认情况下每一条记录都对应一次针对命名空间的具体改动行为[^3]。 --- ### 总结 无论是 `fsimage` 还是 `edits` 文件,在正常运行期间它们共同维护着分布式文件系统的完整性一致性。借助于 hadoop 提供的专业工具集——即 `hdfs oiv` `hdfs oev` ——管理员得以轻松获取底层元数据层面的关键洞察力,从而更好地管理优化集群性能表现。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值