hdfs oiv分析调试篇

最新推荐文章于 2024-04-28 17:33:21 发布

原创

最新推荐文章于 2024-04-28 17:33:21 发布 · 982 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了一个Java类FsimageOIV，用于通过OfflineImageViewerPB工具将fsimage文件转换为CSV格式。示例代码展示了如何使用该类及工具，通过指定输入fsimage文件路径和输出CSV文件路径来执行转换。此外，还提供了详细的日志信息，显示了从fsimage文件中加载字符串表、inode引用、目录和inode的过程。

public class FsimageOIV {
   
   
	@Test
	public void oiv() throws Exception{
   
   
		String[] args = {
   
   "-p","Delimited", "-i"

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

王小禾

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【HDFS问题】HDFS oiv解析Fsimage OOM异常处理

陈小哥cw

03-10

914

问题说明 HDFS的Fsimage文件记录了集群的元数据信息，是进行集群健康度分析的基础。利用HDFS oiv命令可以解析fsimage文件，解析后的文件放入Hive中即可进行集群元数据的详细分析。运行以下命令，获取hdfs集群的fsimage文件，并使用oiv命令进行解析 #获取fsimage文件 hdfs dfsadmin -fetchImage ./tmp_meta #使用oiv命令将fsimage文件解析为csv文件 hdfs oiv -i ./tmp_meta/* -o ./tmp_meta/

HDFS元数据管理/磁盘清理维护

someInNeed的博客

11-23

2818

文件、目录自身的属性信息，例如文件名，目录名，修改信息等文件记录的信息的存储相关的信息，例如存储块信息，分块情况，副本个数等记录 HDFS 的 Datanode 的信息，用于 DataNode 的管理。

参与评论您还未登录，请先登录后发表或查看评论

hdfs小文件合并

岁月静好，做自己。

10-13

4785

hdfs小文件合并

hdfs oiv命令查看FsImage镜像文件内容

学亮编程手记

07-29

733

hdfs oiv -p XML -i /var/bigdata/hadoop/full/dfs/name/current/fsimage_0000000000000023560 -o ~/output.xml

HDFS oiv解析Fsimage OOM异常处理

baidu_31618421的博客

07-08

1564

本篇文章大概1152字，阅读时间大约4分钟本文记录hdfs oiv命令解析fsimage文件过程中的OOM异常处理解决方案HDFS的Fsimage文件记录了集群的元数据信息，是进行集群健...

HDFS命令指南

bill20100829的博客

02-08

925

总览用户指令 classpath dfs fetchdt fsck getconf groups lsSnapshottableDir jmxget Oev iv oiv_legacy snapshotDiff version 管理命令 balancer cacheadmin crypto datanode dfsadmin haadmin journalnode mover namenode nfs3 ...

11_尚硅谷大数据之HDFS_NameNode和SecondaryNameNode1

08-03

- **查看Fsimage和Edits**：可以使用`hdfs oiv`和`hdfs oev`命令来离线查看Fsimage和Edits文件的内容，以便于调试和分析。 4. 检查点触发条件： - **定时触发**：SecondaryNameNode会按照预设的时间间隔自动请求...

Hadoop | HDFS 学习笔记（三）HDFS 读写流程 | NN、2NN、DN 工作机制 | FsImage与Edits的合并

希望每天都能进步一点点

01-18

1453

Hadoop3.1.3版本，关于HDFS的第三篇学习笔记，记录了NN、2NN、DN的工作机制，包括NN中Fsimage和Edits的合并机制，还有如何使用命令查看它们的内容

hdfs面试题

programmer_trip的博客

09-18

1333

大数据概念海量数据,具有高增长率、数据类型多样化、一定时间内无法使用常规软件工具进行捕捉、管理和处理的数据集合。大数据的特征 4V Volume:巨大的数据量 Variety:数据类型多样化 –(1):结构化的数据即有固定格式和有限长度的数据。 –(2):半结构化的数据是一些XML或者HTML的格式的数据。 –(3):非结构化的数据现在非结构化的数据越来越多，就是不定长、无固定格式的数据，例如网页、语音，视频等。 Velocity: 数据增长速度快 Value:价值密度低 googl

Hadoop 之 HDFS 详解

热门推荐

Hao_JunJie的博客

03-01

1万+

一、产生背景：随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更到的操作系统管理的磁盘中，但是管理不方便和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统，HDFS只是分布式文件管理系统的一种。二、定义： HDFS (Hadoop Distributed File System) ，它是一个文件系统，用来存储文件，通过目录树来定位文件，其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。三、使用场景： HDFS适合一次写入，多

hadoop之HDFS

qq_17200461的博客

11-07

3069

Hadoop之HDFS简介功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入简介功能快捷键撤销：Ctrl/Command + Z 重做：Ctrl/Command + Y 加粗：Ctrl/Command + B 斜体：Ctrl/C

Hadoop oiv、oev

mayaohao的博客

07-09

602

【oiv】offline image viwer --------------------------------------------------------------1.用于查看Hadoop fsimage 2.语法 $> hdfs oiv -i inputfile -o outputfile -P process 3.inputfile: 要查看的fsimage文件 outputfile: 用于保存格式化之后的文件 process: 使用什么进程解码，XML|We...

HDFS详解

优质后端技术知识记录

10-31

4687

第1章 HDFS概述 1.1 HDFS产生背景随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 1.2 HDFS概念 HDFS（HadoopDistributedFileSystem），它是一个分布式文件管理......

HDFS体系结构

松门一枝花

08-12

1669

Namenode 是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。文件位置： hdfs-default.xml的dfs.namenode.name.dir 属性（hadoop-hdfs-2.7.2.jar / hdfs-default.xml） dfs.namenode.name.d

Hadoop基础（三） --- oiv、oev、通过URL访问hdfs以及FileSyatem-- Hadoop的文件系统的常用API

xcvbxv01的博客

08-12

3270

【oiv】offline image viwer -------------------------------------------------------------- 1.用于查看Hadoop fsimage 2.语法 $> hdfs oiv -i inputfile -o outputfile -P process 3.inputfile: 要查看的fsimage文...

hdfs额配管理和安全模式

qq_37668945的博客

10-18

272

使用oiv命令查询hadoop镜像文件 ------------------------------ hdfs oiv -i fsimage -o a.xml -p XML //查看镜像文件。 hdfs dfsadmin管理命令 ---------------------- $>hdfs dfsadmin //查看帮助 $>hdfs dfsadmin -help...

HDFS元数据管理

weixin_42404341的博客

11-06

1168

1.元数据管理概述 > HDFS分类-类型分包括以下几部分文件、目录自身的属性信息，例如文件名，目录名，修改信息等文件记录的信息的存储相关的信息，例如存储块信息，分块情况，副本个数等记录 HDFS 的 Datanode 的信息，用于 DataNode 的管理。 > 按形式分内存元数据内存元数据文件两种磁盘 > HDFS 磁盘上元数据文件分为两类...

分布式文件系统HDFS

m0_61276219的博客

02-18

1069

一.什么是分布式文件系统在hadoop当中，分布式文件系统（HDFS），对文件系统有一个抽象，HDFS属于当中的一个实现类，可以通过文件系统获取本地文件系统，操作Linux磁盘上面的文件，也可以获取分布式文件系统，操作hdfs上面的文件 ftp://ftp文件系统，可以做文件的上传下载 webHdfs：浏览器操作文件系统，可以允许我们通过浏览器上传，下载，修改，hdfs上面的文件 hdfs：分布式文件系统 ...

HDFS(学习笔记)(1)

pckzzy119的博客

04-28

825

什么是ActiveMQ?ActiveMQ服务器宕机怎么办？丢消息怎么办？持久化消息非常慢怎么办？消息的不均匀消费怎么办？死信队列怎么办？ActiveMQ中的消息重发时间间隔和重发次数吗？

使用hdfs oiv -i fsimage_* -p XML -o ~/fsimage.xml命令时显示没有这个文件或目录