Hadoop 2.x Hdfs Shell 命令

最新推荐文章于 2024-06-16 15:45:58 发布
原创 最新推荐文章于 2024-06-16 15:45:58 发布 · 1.9k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Hadoop 2.x

本文简要介绍了HDFS文件系统的常用Shell命令，包括创建目录、查看目录内容、上传文件、查看文件内容及删除文件等操作。适用于Hadoop 1.x版本。

    简单介绍下HDFS的shell命令，和Hadoop 1.x差不多

a)        创建文件目录：hdfs dfs -mkdir /data04

b)       查看：    hdfs dfs -ls /

c)        上传文件：hdfs dfs -put wc.txt /data04

d)       查看上传的文件：hdfs dfs -cat /data04/wc.txt

           或者hdfs dfs -text /data04/wc.txt

e)        删除文件：hdfs dfs -rm /data03/tt.txt

f)        删除文件夹：hdfs dfs -rmdir /data01


还有很多，可通过查看帮助： hdfs dfs

大数据之-Hadoop3.x_Hadoop_HDFS_总结---大数据之hadoop3.x工作笔记0080
添柴程序猿的专栏
07-01 413
然后我们再去看一下hdfs文件系统的总结,到现在我们已经把hadoop的,hdfs的部分都说完了. 那么在hadoop的hdfs的部分,哪些部分比较重要,我们总结一下 可以看到对于hdfs文件块的配置 原则就是硬盘读写的速度快,HDFS的文件块就可以设置的大一些,如果硬盘读写速度慢, 文件块就可以设置的小一些.,一般在公司里,大公司设置成256m,中小公司设置成128m 还有就是这个hadoopdfs的相关命令一定要记住这个重要, 这个hdfs的shell命令是重点...
Hadoop Shell常用命令
日常分享数据分析开发、编程语言内容
02-24 2079
Hadoop Shell常用命令
HDFS常用的shell命令
CHEN的博客笔记
10-28 1万+
HDFS Shell命令使用 hadoop fs与hdfs dfs的命令的使用是相似的，本实验使用的是hdfs dfs命令，所有命令的操作都是在hadoop用户下进行。 1.1.1.1. mkdir：创建文件夹 使用方法：hdfs fs -mkdir [-p] 接受路径指定的uri作为参数，创建这些目录。其行为类似于Unix的mkdir -p，它会创建路径中的各级父目录。 示例1:在分布式主目录下新建文件夹test [hadoop@master ~]$ hdfs dfs -mkdir /test [had
hdfs命令大全
04-13
hdfs命令大全速查手册，平时工作整理，方便快捷！！！
Hadoop2.x HDFS shell命令
weir2008的专栏
06-18 366
Hadoop2 HDFS shell命令   1. hdfs dfs -appendToFile <localsrc> ... <dst>   可同时上传多个文件到HDFS里面   2.  hdfs dfs -cat URI [URI ...]   查看文件内容   3. hdfs dfs -chgrp [-R] GROUP URI [URI ...]...
hadoop命令大全
热门推荐
上好佳的博客
01-17 2万+
hdfs命令大全 hdfs常用命令： 第一部分：hdfs文件系统命令 第一类：文件路径增删改查系列： hdfs dfs -mkdir dir  创建文件夹 hdfs dfs -rmr dir  删除文件夹dir hdfs dfs -ls  查看目录文件信息 hdfs dfs -lsr  递归查看文件目录信息 hdfs dfs -stat path 返回指定路径的信息   第二类
Hadoop 3.x（HDFS）----【HDFS 的 Shell 操作】
是微风，是晚霞，是无可替代
10-04 826
这里设置的副本数只是记录在 NameNode 的元数据中，是否真的会有这么多副本，还得看 DataNode 的数量。因为目前只有 3 台设备，最多也就是 3 个副本，只有节点数增加到 10 台时，副本数才能达到 10。说明：27 表示文件大小；81 表示 27*3 个副本；/jinguo 表示查看的目录。
Hadoop——第二部份 Hadoop3.x之HDFS
Cyang的博客
01-12 321
Hadoop 第二部份 Hadoop3.x之HDFS
《Hadoop 2.X HDFS源码剖析》读书笔记（Client）
梓纾的专栏
11-05 4381
1. DSFClient实现对于管理文件/目录以及管理与配置HDFS系统这两个功能，DFSClient并不需要与Datanode交互，而是直接通过远程接口ClientProtocol调用Namenode提供的服务即可。而对于文件读写功能，DFSClient除了需要调用ClientProtocol与Namenode交互外，还需要通过流式接口DataTransferProtocol与Datanode交互
原生Hadoop3.X高可用配置方式
最新发布
别人笑我太疯癫，我笑他人看不穿。
06-16 1614
Hadoop3.X版本，在2017年左右就有了第一个alpha版本，但是那个时候刚出来，所以没有人使用，到2018年3.0.0版本作为第一个3，X正式发布，截止当前本文书写时间，3.X版本已经发展到了3.4，在Hadoop的顶层设计上最大的区别就是在2.X的时候，高可用机制只允许一个在工作中，一个在备用，但是3.X的hadoop允许最多存在五套高可用节点。当然，官方推荐最多三套，自带的MR计算框架也由原来的纯磁盘运算加入了内存运算的设计。 在给大家介绍3.X如何搭建集群之前，要先给大家说一些理论上的东西，当
HDFS的shell命令
南洲.的博客
07-19 260
1、启动和帮助命令 1）启动 Hadoop 集群（方便后续的测试） [yasin@hadoop102 hadoop-3.3.1]$ sbin/start-dfs.sh [yasin@hadoop103 hadoop-3.3.1]$ sbin/start-yarn.sh 2）-help：输出这个命令参数 [yasin@hadoop102 hadoop-3.3.1]$ hadoop fs -help rm 3）创建/sanguo 文件夹 [yasin@hadoop102 hadoop-3.3.1]$ had
Hadoop 系列（六）—— HDFS 常用 Shell 命令
baoyonglun2437的博客
09-17 363
1. 显示当前目录结构 # 显示当前目录结构 hadoop fs -ls <path> # 递归显示当前目录结构 hadoop fs -ls -R <path> # 显示根目录下内容 hadoop fs -ls / 2. 创建目录 # 创建目录 hadoop fs -mkdir <path> # 递归创建目录 hadoop fs -mkdir -p ...
HDFS的shell常用命令大全
Null的博客
03-28 3248
1.启动相关    启动zookeeper：     zkServer.sh start    启动HDFS   :  不管在集群中的那个节点都可以    start-dfs.sh    启动YARN   ：  只能在YARN主节点中进行启动    start-yarn.sh    HDFS :  http://hadoop02:50070    YARN ： http://hadoop05:80...
Hadoop Shell操作命令
weixin_45659364的博客
12-09 549
文件操作命令前言一、创建目录二、查看目录三、查看文件大小四、查看可用空间五、查看文件内容六、上传文件1.put2.copyFromLocal3.moveFromLocal4.appendToFile七、下载文件1.get2.copyToLocal3.getmerge总结 前言 本博客会介绍一些常用的shell命令 一、创建目录 代码如下（示例）： hadoop fs -mkdir /b 作用：在HDFS的根目录下，创建 b目录 二、查看目录 代码如下（示例）： hadoop fs -ls / 作用
hdfs shell 命令
行无止境的博客
03-22 353
在hadoop安装目录下：/hadoop2/hadoop-2.7.31、创建目录hdfs dfs -mkdir /userhdfs dfs -mkdir /user/llx在HDFS中创建一个名为path的目录，如果它的上级目录不存在，也会被创建，如同linux中的mkidr –p。hdfs dfs -mkdir -p /usr/file2、将本地文件或目录（eg:/home/grid/redis...
hdfs的shell命令
sinat_39193763的博客
05-24 1595
hdfs的shell命令，有三种形式，用前面两个。 hdfs dfs √ hadoop fs √ hadoop dfs × 常用的hdfs的shell命令： hdfs dfs -ls / 查看hdfs根目录下文件和目录 hdfs dfs -ls -R / 查看hdfs根目录下包括子目录在内的所有文件和目录 hdfs dfs -mkdir /aa/bb 在hdfs的/aa目录下新建/bb...
HDFS的Shell命令
2401_84572945的博客
04-24 1085
HDFS Shell命令是Hadoop提供的一套命令行工具，用于在HDFS上进行文件操作。通过HDFS Shell命令，用户可以方便地进行文件的上传、下载、删除、查看等操作。通过掌握HDFS Shell命令，用户可以轻松地对HDFS中的文件和目录进行管理和操作，为大数据存储和处理提供便利。同时，结合其他Hadoop组件和工具，用户可以构建完整的大数据生态系统，实现更高效的数据存储、处理和分析。
hdfs shell操作
m0_72168501的博客
11-23 6565
hdfs 的shell 操作
hadoop shell命令介绍
zeusgis的专栏
10-16 958
Hadoop 文件系统shell使用命令介绍，基本上所有的命令与linux命令相差不大，下面为我的hadoop系统文件夹 查看命令：hadoop fs -ls /home/hadoop/ drwxr-xr-x   - hadoop supergroup          0 2013-11-30 17:51 /home/hadoop/dir drwxr-xr-x   - hadoop sup
Hadoop HDFS Shell命令完全指南
"这份文档详细介绍了Hadoop HDFS的Shell命令，包括了如cat、chgrp、chmod、chown等一系列常用操作。" 在分布式文件系统Hadoop HDFS中，Shell命令提供了一种方便的方式来管理和操作存储的数据。这些命令与传统的Unix...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值