一些查过好用的hdfs命令

最新推荐文章于 2023-12-24 17:22:44 发布
最新推荐文章于 2023-12-24 17:22:44 发布
阅读量348 收藏
点赞数
分类专栏： 大数据 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/GOGOAWAY/article/details/106989594
版权
本文介绍如何在Hadoop分布式文件系统（HDFS）中查看gzip压缩的文件。提供了两种命令行方法：使用`hadoop fs -cat`结合`gzip -d`或`zcat`来解压并显示文件内容，同时也提到了使用`-text`选项可以适用于多种文件类型的查看。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

gzip 文件

  • 查看 HDFS 上 gzip 文件的命令

1
2
3
4
5

hadoop fs -cat /shining/temp.txt.gz | gzip -d 

或

hadoop fs -cat /shining/temp.txt.gz | zcat

 

转载自：https://sukbeta.github.io/hadoop-lzo-gz-bz2/  hadoop上命令行查看lzo、gz、bz文件

或者对各种文件都可以使用-text选项 也可以

hadoop fs -text /user/hadoop/part-00499.gz | head -n 10

 

HDFS常用文件操作命令汇总
congge
12-26 1万+
常用的hdfs文件操作命令总结
HDFS命令
weixin_44976835的博客
08-20 1382
hdfs常用命令： 第一部分：hdfs文件系统命令 第一类：文件路径增删改查系列： hdfs dfs -mkdir dir 创建文件夹 hdfs dfs -rmr dir 删除文件夹dir hdfs dfs -ls 查看目录文件信息 hdfs dfs -lsr 递归查看文件目录信息 hdfs dfs -stat path 返回指定路径的信息 第二类：空间大小查看系列命令： hdfs dfs -du -h dir 按照适合阅读的形式人性化显示文件大小 hdfs dfs -dus uri 递归显示目标
hadoop hdfs dfs基本操作
archer的技术故事
04-09 3万+
hadoop hdfs dfs基本操作 本文主要参考： http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/FileSystemShell.html 根据上面官方文档的提示我们能够知道可以通过shell的方式访问hdfs中的数据，对数据进行操作。那么首先让我们看一下hdfs的版本，使用命令h
hdfs dfs test 命令
PeersLee的博客
06-11 1050
test Usage: hadoop fs -test -[defswrz] URI Options: -d: if the path is a directory, return 0. -e: if the path exists, return 0. -f: if the path is a file, return 0. -s: if the path is not empty, return 0. -w: if the path exists and write permission is g
Hadoop的hdfs的配置参数详解
w511913253的专栏
06-26 691
1：在hdfs中删除一个文件，如何恢复，何时无法恢复其实是可配置的 在 core-site.xml中 配置   　　fs.trash.interval  　　10080 --单位为分钟  　　 hadoop默认是没有恢复的。 查看被回收的文件 可以用命令 hadoop fs -ls /user/root/.Trash/Current/* 重启后生效 2：在配置文件中设置reduc
HDFS基本操作
china_xin1的博客
08-16 1万+
1、HDFS的基本命令格式为： 命令：hdfs dfs -cmd <args> 注：cmd就是具体的命令，cmd前面的“-”千万不能省略。         本人已经设置了环境变量，则可以在任意的路径下可直接使用hdfs，否则进入hadoop安装路径HADOOP_HOME后，使用如下指令：./bin/hdfs dfs -cmd <args> 2、列出文件目录： 命令...
大数据技术基础实验报告-HDFS常用操作命令.doc
08-21
本实验报告主要关注HDFS的常用操作命令，这些命令是管理员和数据分析师日常工作中不可或缺的工具。 实验开始时，通过执行`start-dfs.sh`命令启动HDFS服务。这是在Hadoop集群中启动所有DataNode和NameNode节点的关键...
HDFS部署与Shell命令使用
03-15
### HDFS部署与Shell命令使用 #### HDFS部署 Hadoop分布式文件系统（HDFS）是一种为处理大型数据集而设计的分布式文件系统。在部署HDFS时，根据不同的应用场景和需求，可以采用三种主要模式： 1. **独立模式...
aws s3命令与hdfs dfs命令/hadoop fs命令（笔记）
算法工程师
01-17 2679
aws s3命令与hdfs dfs命令
HDFS_HBaseShell的常用命令
06-27
HDFS_HBaseShell的常用命令 HDFS(Hadoop Distributed File System)是一种分布式文件系统，主要用于存储和管理大规模数据。HBase 是一个基于HDFS的NoSQL数据库，用于存储和管理大规模结构化和半结构化数据。HBase ...
HDFS基本命令的使用
热门推荐
IT影风的博客
05-09 4万+
hdfs文件的相关操作主要使用hadoop fs、hadoop dfs、hdfs dfs 命令，以下对最常用的相关命令进行简要说明。hadoop fs -ls  显示当前目录结构，-ls -R 递归显示目录结构hadoop fs -mkdir  创建目录hadoop fs -rm   删除文件，-rm -R 递归删除目录和文件hadoop fs -put  [localsrc] [dst]  从本...
hadoop(二)、HDFS基本命令的使用
qq_34300892的博客
03-04 319
hadoop fs -ls [hdfs目录] 显示当前目录结构，-ls -R 递归显示目录结构 hadoop fs -put [文件] [hdfs目录] 从本地加载文件到HDFS hadoop fs -cat [hdfs目录下文件] 查看hdfs文件详情 hadoop fs -get [hdfs文件] [本地目录] 从HDFS导出文件到本地，默认到当前文件夹 hadoop fs ...
Hadoop的shell命令
m0_52879657的博客
05-07 5267
hadoop的shell命令（总结归纳）
Hadoop基础操作--上传文件到HDFS
m0_58945994的博客
10-21 3万+
一、什么是HDFS文件系统 文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统。即：为用户建立文件、存入、读出、修改、转储文件，控制文件的存取，当用户不再使用时删除文件。 现在我们的计算机基本上都是windows操作系统，文件都存储在磁盘驱动器（C、D、E盘）的文件目录中，在Linux系统中提供了树状文件目录结构，可供使用者存储或读取文件。Hadoop集群也有专有的文件系统--HDFS文件系统，也使用了类Linux的目录结构来进行...
HDFS 常用shell命令大全
ten_k的博客
06-05 581
cat命令 // 查看文件所有行的数据 hadoop fs -cat filename // 查看总行数 hadoop fs -cat filename | wc -l // 查看.gz文件 hadoop fs -cat filename | zcat // (按空格)翻页查看 hadoop fs -cat filename ｜ more // 查看从第s行开始的k行数据 hadoop fs -cat filename | tail -n +s | head -n k // 将多个不同位置的文件合
Hadoop生产集群各种维护命令
Brother_ning的博客
12-24 865
Hadoop日常维护操作命令，hdfs操作命令，yarn操作命令，historyserver操作命令，历史服务器启停
HDFS常用命令
杜海的博客
09-15 2781
通过查看Hadoop的命令 与 hdfs 的命令并不相同，且不存在包含关系。仅仅是 hadoop fs 与 hdfs dfs 可以等价。
flink以gz格式写入hdfs
qq_44962429的博客
05-21 1296
在flink的官方文档中，有读取gz文件的API，但是没有写入hdfs以gz格式写入的API，如果我们存储的数据量比较大，严重的占用我们的存储空间怎么办？ 博主在这里分享一下本人的做法。注意：博主的hdfs文件生成依赖于flink的checkpoint，如果在程序中不配置flink的checkpoint，该功能时无法实现的。 package com.push.redis; import org.apache.flink.api.common.serialization.BulkWriter; import
hbase shell命令list查不出
最新发布
03-25
如果你发现 `hbase shell` 中使用 `list` 查不到任何表信息，可能是由于以下几个原因导致的： ### 可能的原因及解决办法 1. **HBase服务未正常启动** 如果 HBase 的 Master 或 RegionServer 没有正确运行，则...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值