【Hadoop十二】HDFS常用命令

最新推荐文章于 2024-09-02 09:30:00 发布
原创 最新推荐文章于 2024-09-02 09:30:00 发布 · 207 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

本文介绍了如何使用HDFS工具查看和解析HDFS中的关键日志文件，包括修改日志文件查看器转换为XML格式的方法及fsimage工具查看HDFS块信息的过程。通过这些工具可以详细了解HDFS的状态。

1. 修改日志文件查看器

 

hdfs oev -i edits_0000000000000000081-0000000000000000089 -o edits.xml
cat edits.xml

 

修改日志文件转储为xml格式的edits.xml文件，其中每条RECORD就是一个操作事务日志

 

2. fsimage查看HDFS中的块信息等

 

[hadoop@hadoop current]$  hdfs oiv -i fsimage_0000000000000016539  -o fsimage.fd -p FileDistribution maxSize 1000 step 5
[hadoop@hadoop current]$ cat fsimage.fd
 结果：

 

 

Processed 0 inodes.
Size	NumFiles
0	137
2097152	198
4194304	8
6291456	2
8388608	4
10485760	2
totalFiles = 351
totalDirectories = 283
totalBlocks = 214
totalSpace = 196413302
maxFileSize = 8945561
 

 

3. 查看HDFS上的文件和目录详细信息

 

 

hdfs oiv -i fsimage_0000000000000016539 -p XML -o fsimage.xml
cat fsimage.xml
 

 

 

HDFS命令指南
bill20100829的博客
02-08 926
总览 用户指令 classpath dfs fetchdt fsck getconf groups lsSnapshottableDir jmxget Oev iv oiv_legacy snapshotDiff version 管理命令 balancer cacheadmin crypto datanode dfsadmin haadmin journalnode mover namenode nfs3 ...
Hadoop 之 HDFS命令
2201_75364488的博客
05-11 2704
HDFS（Hadoop Distributed File System）是Hadoop生态系统中的一个核心组件，它是一个高度容错性的分布式文件系统，设计用于在廉价硬件上存储大规模数据集。HDFS的架构采用主从（Master/Slave）结构模型，包含一个。
Hadoop从入门到入土（第十九天）
W2484980893的博客
05-31 321
学习使人进步，每一天都要元气满满
快速学习-NameNode和SecondaryNameNode
逍遥云恋
02-15 495
第5章 NameNode和SecondaryNameNode（面试开发重点） 5.1 NN和2NN工作机制 思考：NameNode中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的...
hdfs基本命令操作
fantasticqiang的博客
06-02 1560
hdfs基本命令操作使用oiv查看hadoop镜像文件进入hadoop name目录下，/home/hadoop/hadoop/tmp/dfs/name/current。输入: "hdfs oiv"查看oiv命令使用详情。hdfs oiv -i fsimage_0000000000000000128 -o a.xml -p XML可以使用编辑器查看xml文件，上面维护着文件的目录、权限、block...
Hadoop 之 HDFS 详解
热门推荐
Hao_JunJie的博客
03-01 1万+
一、产生背景： 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更到的操作系统管理的磁盘中，但是管理不方便和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统，HDFS只是分布式文件管理系统的一种。 二、定义： HDFS (Hadoop Distributed File System) ，它是一个文件系统，用来存储文件，通过目录树来定位文件，其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 三、使用场景： HDFS适合一次写入，多
Hadoop-HDFS常用命令
08-22
Hadoop-HDFS常用命令
Hadoop和HDFS常用命令的练习
最新发布
12-17
以下是几个常用的Hadoop和HDFS命令及其作用： 1. **hdfs dfs** 或 **hadoop fs**: 这是HDFS命令行工具，用于操作HDFS文件系统。例如： - `ls`：列出目录内容。 - `mkdir`：创建新目录。 - `cp`：复制文件或目录...
Hadoop之HDFS的原理和常用命令及API（java）
zwl2220943286的博客
09-02 2156
Hadoop之HDFS的原理和常用命令及API（java）
03、Hadoop框架HDFS Shell 命令
hujieliang123的博客
02-11 2837
文章目录HDFS Shell命令详细启动脚本介绍HDFS Shell 介绍HDFS Shell 常用操作运行word count 实例 HDFS Shell命令 详细启动脚本介绍 第一种：全部启动集群所有进程 启动：sbin/start-all.sh 停止： sbin/stop-all.sh *启动 停止 第二种：单独启动hdfs【web端口50070】和yarn【web端口8088】的相关进程 启动：sbin/start-dfs.sh sbin/start-yarn.sh 停止：sbin
HDFS命令指南-03
hadoop1024的博客
03-20 1126
1、前言 本文写于2018年02月份，以当前HDFS版本2.9.0为主，主要参考为官方文档，其中加入了一些自己的理解，如有不对之处，还请多多指教，感谢！ 所有HDFS命令都可以用bin/hdfs脚本调用。不带任何参数运行hdfs脚本将打印所有命令的描述信息。 用法：hdfs [SHELL_OPTIONS] COMMAND [GENERIC_OPTIONS] [COMMAND_OPTIONS]...
Hadoop基础（三） --- oiv、oev、通过URL访问hdfs以及FileSyatem-- Hadoop的文件系统的常用API
xcvbxv01的博客
08-12 3270
【oiv】offline image viwer    -------------------------------------------------------------- 1.用于查看Hadoop fsimage  2.语法     $> hdfs oiv -i inputfile -o outputfile -P process 3.inputfile: 要查看的fsimage文...
HDFS（二）
JiaXingNashishua的博客
07-22 975
4）每次NameNode启动的时候都会将Fsimage文件读入内存，加载Edits里面的更新操作，保证内存中的元数据信息是最新的、同步的，可以看成NameNode启动的时候就将Fsimage和Edits文件进行了合并。思考如果电脑磁盘里面存储的数据是控制高铁信号灯的红灯信号（1）和绿灯信号（0），但是存储该数据的磁盘坏了，一直显示是绿灯，是否很危险？（1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。...
Hadoop集群-HDFS集群中大数据运维常用的命令总结
weixin_33962923的博客
05-22 1160
　　　　　　　　　　　　　　　Hadoop集群-HDFS集群中大数据运维常用的命令总结 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。     　　本篇博客会简单涉及到滚动编辑，融合镜像文件，目录的空间配额等运维操作简介。话不多少，直接上命令便于以后查看。   一.查看hadf的帮助信息 ...
hadoop之hdfs命令详解
xby18772963985的博客
01-17 2406
目录一、hadoop命令1、archive2、checknative3、classpath4、credential5、distcp（比较常用）6、fs7、jar8、key9、trace二、hdfs命令1、classpath2、dfs3、fetchdt4、fsck（重要）5、getconf（重要）6、groups7、lsSnapshottableDir8、jmxget9、oev10、oiv11、snapshotDiff12、balancer（重要）13、cacheadmin14、datanode15、dfsa
NameNode 和 SecondaryNameNode： Fsimage 和 Edits 解析、ovi命令、oev命令
七七的博客
02-28 672
文章目录NameNode 和 SecondaryNameNode： Fsimage 和 Edits 解析、ovi命令、oev命令一、SecondaryNamenode， 专门用于 FsImage 和 Edits 的合并。二、 Fsimage 和 Edits 解析Fsimage和Edits概念1）oiv 查看 Fsimage 文件2）oev 查看 Edits 文件 NameNode 和 SecondaryNameNode： Fsimage 和 Edits 解析、ovi命令、oev命令 一、Secondary
Hadoop 常见问题分析
写博客只为学习
03-07 189
[size=medium][color=red][b]1.job的本质是什么？[/b][/color][/size] 在MapReduce中，一个准备提交执行的应用程序称为“作业（job）” [size=medium][b]2.任务的本质是什么？[/b][/size] 从一个作业划分出的运行于各个计算节点的工作单元称为“任务（task）” [color=red][size=medi...
从零自学Hadoop(12)：Hadoop命令中
极客神殿
09-23 737
序　　上一篇，我们对Hadoop命令进行了简略的列举，但是Hadoop命令特多，还有一部分没有列举完，官网基本都是英文的，所以只能拙略的翻译下，妄大家见谅。　　下面，我们就开始对Hadoop命令中进行讲解。 HDFS Commands一：介绍　　所有的HDFS命令通过bin/ HDFS脚本调用。指定参数运行HDFS脚本会打印所有命令的描述。　　用法: hdfs [SHELL_OPTIONS] COM
hadoop配置详情
小潘
04-02 578
一 完全分布式集群(单点） Hadoop官方地址：http://hadoop.apache.org/ 1 准备3台客户机 1.1防火墙,静态IP,主机名 关闭防火墙，设置静态IP，主机名此处略，参考 Linux之CentOS7.5安装及克隆 1.2 修改host文件 我们希望三个主机之间都能够使用主机名称的方式相互访问而不是IP，我们需要在hosts中配置其他主机的host。因此我们在主机的/...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值