将namenode的编辑日志和镜像文件变成可读的xml

最新推荐文章于 2022-05-09 10:23:31 发布
原创 最新推荐文章于 2022-05-09 10:23:31 发布 · 264 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop

本文介绍如何使用HDFS命令行工具导出fsimage和edits文件，通过这些文件可以深入了解Hadoop分布式文件系统的元数据状态及操作日志，对于系统维护和故障排查具有重要意义。

[root@hlh001 current]# hdfs oiv -p XML -i fsimage_0000000000000000269 -o ./fsimage.xml

[root@hlh001 current]# hdfs oev -p XML -i edits_0000000000000000001-0000000000000000002 -o ./edits.xml

然后就可以查看里面的内容了！

[root@hlh001 current]# hdfs dfsadmin -rollEdits   //滚动编辑日志

 

HDFS离线分析FsImage元数据
Tybyqi的博客
01-31 1325
概观 HDFS是Hadoop的一部分，它具有下载当前名称节点快照的命令。我们可以通过Spark加载图像或对其进行数据摄取，以使其进入Hive以分析数据并验证它如何使用HDFS。 HDFS文件系统元数据存储在名为“FsImage”的文件中。我们在此快照中包含： 整个文件系统命名空间。 地图，块和文件复制。 配额，ACLS等属性 我必须解决的问题如下： 运行该命令以下载映像并生成XML文件...
HDFS之namenode文件解析
bigdodo的博客
04-07 3235
一、HDFS体系结构 HDFS支持主从结构，主节点称为NameNode，从节点称为DateNode，DataNode支持多个节点。HDFS还包含一个SecondaryNameNode进程，表面意思是一个辅助主节点（备用主节点） 伪分布式单节点JPS进程： 网络部署结构图： 1.NameNode进程 NameNode是整个文件系统的管理节点，它主要维护着整个文件系统的文件目录树、文件/目录的信息和每个文件对应的数据块列表，并且还负责接收用户的操作请求。 目录树：目录之间的层...
Hadoop NameNode元数据相关文件目录解析
qq_31461055的博客
04-09 817
本文转自 Hadoop NameNode元数据相关文件目录解析一 NameNode 元数据相关文件目录架构二 元数据相关文件解析1 VERSION 文件2 seen_txid 文件3 fsimage 和 edits 及 md5 校验文件三 文件系统元数据 fsimage 和编辑日志 edits1 edits 和 fsimage 文件的概念2 fsimage 和 edits 的工作原理其他信息备用 ...
黑猴子的家：NameNode 镜像文件和编辑日志文件
黑猴子的博客
09-25 315
1、概念 namenode被格式化之后，将在/opt/module/hadoop-2.7.2/data/tmp/dfs/name/current //目录中产生如下文件 edits_0000000000000000000 fsimage_0000000000000000000.md5 seen_txid VERSION （1）Fsimage文件：HDFS文件系统元数据的一个永久性的检查点...
hdfs各个节点工作机制-09
kxj19980524的博客
04-09 780
（1）Fsimage文件：HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目录和文件idnode的序列化信息。 （2）Edits文件：存放HDFS文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先会被记录到edits文件中。 （3）seen_txid文件保存的是一个数字，就是最后一个edits_的数字 （4）每次Namenode启动的时候都会将...
三十九、NameNode工作机制、镜像文件、编辑日志文件、namenode版本号
基督山伯爵的博客
10-16 1787
      &amp
Secondary NameNode:它究竟有什么作用？
热门推荐
ITSTAR
06-16 8万+
前言 最近刚接触Hadoop, 一直没有弄明白NameNode和Secondary NameNode的区别和关系。很多人都认为，Secondary NameNode是NameNode的备份，是为了防止NameNode的单点失败的，直到读了这篇文章Secondary Namenode - What it really do? (需翻墙)才发现并不是这样。文章写的很通俗易懂，现将其翻译如下：
NameNode中的Fsimage和Edits解析
叁木大数据
12-25 3387
NameNode中的Fsimage和Edits解析图解name 图解name
centos7通过命令来查看NameNode的状态（是Active还是Standby）
hsg77的专栏
07-06 2336
通过浏览器虽然可以查看HDFS的NameNode的状态，如果感觉不方便，可以直接使用命令来查看（前提是HDFS已经启动）： [root@hadoop01 ~]# hdfs haadmin -getServiceState nn1 active [root@hadoop01 ~]# hdfs haadmin -getServiceState nn2 standby [root@hadoop...
Linux应用编程（2）lseek/dup/dup2函数介绍
weixin_44112805的博客
09-08 608
lseek函数 1.lseek函数介绍 /* *@pram: fd :文件描述符 * offset :偏移量 * whence :偏移开始的位置 (SEEK_SET / SEEK_CUR / SEEK_END) *@return value :offset到文件末尾的字节数 */ off_t lseek(int fd, off_t offset, int whence); 文件指针：当我们要对一个文件进行读写时，一定需要先打开这个文件，所以我们读写的所有文件都是
HDFS fsimage文件解析与反解析
MAYIBO—BG的专栏
07-25 2933
参考： http://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/HdfsImageViewer.html https://blog.youkuaiyun.com/androidlushangderen/article/details/50937069 目录 概述 使用 命令使用说明 XMl Processor FileDis...
putty调看oracle日志,命令行界面 – 如何以编程方式将putty日志转换为人类可读,可搜索的文件？...
weixin_29231027的博客
04-02 474
背景：我有一个Windows 7工作站,并使用PuTTY连接到Linux服务器,并启用了会话日志记录.我以前使用过Printable输出选项,但是它没有转义字符的好处,但是如果我使用tab自动完成或退格,我输入的命令是不可搜索的,因为我在输入命令时更正了一个拼写错误(或3) .注意：我安装了cygwin以获得额外的命令行工具支持(即grep,find等).最近,我不得不回过头来找一些命令,直接与同...
Hadoop源码分析（22）
qq_39210987的博客
05-09 898
Hadoop源码分析（22） ###1、 加载FSImage文件   在之前文档中分析了namenode的启动流程，其中namenode启动主要有两个任务：其一是加载元数据，其二是启动相关的服务。其中加载元数据在文档（10）中分析了其最终会调用FSImage类的loadFSImage方法来加载元数据。这个方法大致可以分为5个部分：是查找fsimage文件；初始化editlog；加载editlog流；加载fsimage文件；执行editlog。随后的文档依次分析了：查找FSImage文件、初始化editlo
Hadoop的namenode的镜像文件和编辑日志
张不帅
11-05 1564
存储地址: namenode 被格式化之后，将在/opt/module/hadoop-2.7.2/data/tmp/dfs/name/current 目录中 产生文件名为edits,fsimage,seen_txid,VERSIOn (1) fsimage文件:HDFS文件系统元数据的一个永久性检查点,包含HDFS文件系统的所有目录和文件idnode的序列化信息 (2)edits文件:存放HDF...
nodejs解析xml文件（xml-＞json）
slient_love的博客
03-03 8831
nodejs解析xml文件（xml->json） nodejs解析xml文件的方式有很多： xml2j xmlreader xmldom+xpath xmldoc xml-js … 点击可自行访问官网，里面有用法示例，在此不再进行赘述。今天在开发中要解析的xml文件内容如下： <xml xmlns:s='uuid:BDC6E3F0-6DA3-11d1-A2A3-00AA00C14882' xmlns:dt='uuid:C2F41010-65B3-11d1-A29F-00AA00C148
namenode的fsimage与editlog详解
lzf的博客
05-10 3578
Namenode主要维护两个文件，一个是fsimage，一个是editlog。 fsimage保存了最新的元数据检查点，包含了整个HDFS文件系统的所有目录和文件的信息。对于文件来说包括了数据块描述信息、修改时间、访问时间等；对于目录来说包括修改时间、访问权限控制信息(目录所属用户，所在组)等。 editlog主要是在NameNode已经启动情况下对HDFS进行的各种更新操作进行记录，HDFS...
物理机centos7配置静态IP和网关
酸梅汤
08-04 8614
一、设置主机名 1）vi /etc/hostname 2）vi /etc/hosts 二、配置网关vi /etc/sysconfig/network 三、配置IP地址 vi/etc/sysconfig/network-scripts/ifcfg-enp2s0 四、reboot重启 ...
大数据之MapReduce并行算法简单概括
酸梅汤
08-15 1479
MapReduce重点 程序员必须指定: map (k, v) → <k’, v’>* reduce (k’, v’) → <k’, v’>* 所有具有相同key的value被聚集到一起 可选的操作： partition (k’,划分数) → k’的划分 往往使用key的一个简单散列函数, e.g., hash(k’) mod n 为并行redu...
hadoop集群的群起脚本
酸梅汤
09-02 525
#!/bin/bash echo "==========================正在开启集群服务==========================" echo "========================正在开启Zookeeper节点========================" for i in admin@hlh001 admin@hlh002 admin@hlh003 ...
Hadoop Namenode启动失败问题解决方案参考
fsimage是NameNode的命名空间镜像文件，存储了文件系统树的所有目录和文件，以及它们的属性和数据块信息。如果在启动过程中发现NameNode启动失败，并且怀疑是fsimage文件丢失或其他未知原因导致的，可以参考以下知识...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值