一些查过好用的hdfs命令

最新推荐文章于 2023-12-24 17:22:44 发布
原创 最新推荐文章于 2023-12-24 17:22:44 发布 · 397 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop

本文介绍如何在Hadoop分布式文件系统（HDFS）中查看gzip压缩的文件。提供了两种命令行方法：使用`hadoop fs -cat`结合`gzip -d`或`zcat`来解压并显示文件内容，同时也提到了使用`-text`选项可以适用于多种文件类型的查看。

gzip 文件

  • 查看 HDFS 上 gzip 文件的命令

1
2
3
4
5

hadoop fs -cat /shining/temp.txt.gz | gzip -d 

或

hadoop fs -cat /shining/temp.txt.gz | zcat

 

转载自：https://sukbeta.github.io/hadoop-lzo-gz-bz2/  hadoop上命令行查看lzo、gz、bz文件

或者对各种文件都可以使用-text选项 也可以

hadoop fs -text /user/hadoop/part-00499.gz | head -n 10

 

HDFS常用文件操作命令汇总
congge
12-26 1万+
常用的hdfs文件操作命令总结
查看HDFS中LZO压缩文件内容的脚本
践行者John的专栏
11-29 5103
最近常常需要查看LZO文件里面的内容，这些文件通常很大，放在hdfs上。我没有好的方法，我以前偶尔查看其中内容都是直接get到本地然后用lzop解压缩然后再more的。这样做当你偶尔使用的时候即使文件稍微大点，也许也是可以接受的。但现在我需要常常grep里面的内容，就不那么欢乐了。 所以写了个shell脚本lzoc[ lzo cat]，用来专门查看ＨＤＦＳ里ＬＺＯ文件的内容，正常情况下它不输出任
hadoop hdfs dfs基本操作
archer的技术故事
04-09 3万+
hadoop hdfs dfs基本操作 本文主要参考： http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/FileSystemShell.html 根据上面官方文档的提示我们能够知道可以通过shell的方式访问hdfs中的数据，对数据进行操作。那么首先让我们看一下hdfs的版本，使用命令h
hdfs dfs test 命令
PeersLee的博客
06-11 1221
test Usage: hadoop fs -test -[defswrz] URI Options: -d: if the path is a directory, return 0. -e: if the path exists, return 0. -f: if the path is a file, return 0. -s: if the path is not empty, return 0. -w: if the path exists and write permission is g
Hadoop的hdfs的配置参数详解
w511913253的专栏
06-26 732
1：在hdfs中删除一个文件，如何恢复，何时无法恢复其实是可配置的 在 core-site.xml中 配置   　　fs.trash.interval  　　10080 --单位为分钟  　　 hadoop默认是没有恢复的。 查看被回收的文件 可以用命令 hadoop fs -ls /user/root/.Trash/Current/* 重启后生效 2：在配置文件中设置reduc
HDFS基本操作
china_xin1的博客
08-16 1万+
1、HDFS的基本命令格式为： 命令：hdfs dfs -cmd <args> 注：cmd就是具体的命令，cmd前面的“-”千万不能省略。         本人已经设置了环境变量，则可以在任意的路径下可直接使用hdfs，否则进入hadoop安装路径HADOOP_HOME后，使用如下指令：./bin/hdfs dfs -cmd <args> 2、列出文件目录： 命令...
HDFS基本命令的使用
IT影风的博客
05-09 4万+
hdfs文件的相关操作主要使用hadoop fs、hadoop dfs、hdfs dfs 命令，以下对最常用的相关命令进行简要说明。hadoop fs -ls  显示当前目录结构，-ls -R 递归显示目录结构hadoop fs -mkdir  创建目录hadoop fs -rm   删除文件，-rm -R 递归删除目录和文件hadoop fs -put  [localsrc] [dst]  从本...
hadoop(二)、HDFS基本命令的使用
qq_34300892的博客
03-04 347
hadoop fs -ls [hdfs目录] 显示当前目录结构，-ls -R 递归显示目录结构 hadoop fs -put [文件] [hdfs目录] 从本地加载文件到HDFS hadoop fs -cat [hdfs目录下文件] 查看hdfs文件详情 hadoop fs -get [hdfs文件] [本地目录] 从HDFS导出文件到本地，默认到当前文件夹 hadoop fs ...
hdfs 文件操作常用命令
Yummy
07-10 2911
hadoop文件操作命令：      1. ls 显示目录下的所有文件或者文件夹            命令：hadoop fs -ls '/user/recsys/yuzhan'  或者hadoop dfs -ls '/user/recsys/yuzhan'            fs与dfs的区别：fs是文件系统， dfs是分布式文件系统，fs > dfs，分布式环境情况下，fs与dfs...
Hadoop的shell命令
m0_52879657的博客
05-07 5547
hadoop的shell命令（总结归纳）
Hadoop基础操作--上传文件到HDFS
m0_58945994的博客
10-21 3万+
一、什么是HDFS文件系统 文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统。即：为用户建立文件、存入、读出、修改、转储文件，控制文件的存取，当用户不再使用时删除文件。 现在我们的计算机基本上都是windows操作系统，文件都存储在磁盘驱动器（C、D、E盘）的文件目录中，在Linux系统中提供了树状文件目录结构，可供使用者存储或读取文件。Hadoop集群也有专有的文件系统--HDFS文件系统，也使用了类Linux的目录结构来进行...
批量修改文件后缀名
01-03
批量修改文件后缀名，可以设置要修改目录的深度
【HDFS】权限管理
goat的博客
12-20 7455
一文带你了解HDFS的权限管理~~~
HDFS 常用shell命令大全
ten_k的博客
06-05 640
cat命令 // 查看文件所有行的数据 hadoop fs -cat filename // 查看总行数 hadoop fs -cat filename | wc -l // 查看.gz文件 hadoop fs -cat filename | zcat // (按空格)翻页查看 hadoop fs -cat filename ｜ more // 查看从第s行开始的k行数据 hadoop fs -cat filename | tail -n +s | head -n k // 将多个不同位置的文件合
Hadoop生产集群各种维护命令
Brother_ning的博客
12-24 1057
Hadoop日常维护操作命令，hdfs操作命令，yarn操作命令，historyserver操作命令，历史服务器启停
HDFS如何查看文本内容
CZXY18ji的博客
11-25 3928
1.查看指定行数的文本 hdfs dfs -cat /aaaaa/空白文本.txt | shuf -n 5 2.查看指定头数的文本 hdfs dfs -cat /aaaaa/空白文本.txt | head -100 3.查看指定尾数的文本 hdfs dfs -cat /aaaaa/空白文本.txt | tail-100 4.查看文本行数 hdfs dfs -cat /path/txt | wc -...
Hadoop Hdfs常用命令
热门推荐
sunshingheavy的专栏
11-19 5万+
Hadoop Hdfs常用命令   概述  本文档介绍Hadoop hdfs系统的一些常用命令。  操作hdfs系统可以使用hadoop fs 也可以使用 hdfs dfs ,两者效果一样。(hadoop dfs命令已不再建议使用)   参考: http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html   常用命令 一、 
hdfs小文件合并
岁月静好，做自己。
10-13 4804
hdfs小文件合并
Python带你聊天式走完Hadoop之MapReduce——史上最详细的操作步骤【内附hdfs操作合集】
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
04-20 4676
在这个实例中， 主要是介绍如何使用 Python 为 Hadoop 编写一个简单的MapReduce 程序。尽管 Hadoop 框架是使用 Java 编写的但是我们仍然希望能够使用像 C++、Python 等语言来实现 Hadoop 程序。 因为 Hadoop 官方网站给的示例程序是使用Jython 编写并打包成 Jar 文件，这样显然给未学习过 java 语言的开发人员造成不便， 而且， Hadoop 本身具有很好的跨平台特性， 所以我们可以使用 Python等其他一些常用平台与 Hadoop 关联进行
HDFS端口查询
最新发布
10-11
- **使用HDFS命令**： - 运行 `hdfs getconf -confKey fs.default.name` 获取NameNode RPC端口（例如输出 `hdfs://namenode-host:8020`）。 - 运行 `hdfs getconf -confKey dfs.http.address` 获取NameNode Web UI...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值