Hadoop之HDFS常用Shell命令

最新推荐文章于 2023-05-05 17:42:22 发布
最新推荐文章于 2023-05-05 17:42:22 发布
阅读量639 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： Hadoop 文章标签： hadoop hadoop命令
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_41910694/article/details/91347049
本文详细介绍了Hadoop HDFS的常用Shell命令，包括启动集群、文件操作如上传、下载、查看、权限设置、复制、移动、删除等，以及目录管理与权限调整，为Hadoop开发者提供快速查阅与实践指南。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Hadoop之HDFS常用Shell命令

  1. 启动Hadoop集群
 sbin/start-dfs.sh
 sbin/start-yarn.sh
  1. -help：输出这个命令参数
hadoop fs -help rm
  1. -ls: 显示目录信息
hadoop fs -ls /
  1. -mkdir：在hdfs上创建目录
hadoop fs -mkdir -p /hadoop
  1. -moveFromLocal从本地剪切粘贴到hdfs
hadoop fs  -moveFromLocal  ./hh.txt  /hadoop
  1. -cat：显示文件内容
hadoop fs -cat /hadoop/hh.txt
  1. -tail：显示一个文件的末尾
adoop fs -tail /hadoop/hh.txt
  1. -chgrp 、-chmod、-chown：linux文件系统中的用法一样，修改文件所属权限
hadoop fs  -chmod  666  /hadoop/hh.txt
hadoop fs  -chown  centos:centos  /hadoop/hh.txt
  1. -copyFromLocal：从本地文件系统中拷贝文件到hdfs路径去
hadoop fs -copyFromLocal README.txt /
  1. -copyToLocal：从hdfs拷贝到本地
hadoop fs -copyToLocal /hadoop/hh.txt ./
  1. -cp ：从hdfs的一个路径拷贝到hdfs的另一个路径
hadoop fs -cp /hadoop/hh.txt /admin/hah.txt
  1. -mv：在hdfs目录中移动文件
hadoop fs -mv /hh.txt /admin
  1. -get：等同于copyToLocal，就是从hdfs下载文件到本地
hadoop fs -get /hadoop/hh.txt ./
  1. -getmerge ：合并下载多个文件，比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,…
hadoop fs -getmerge /user/test/* ./hh.txt
  1. -put：等同于copyFromLocal
hadoop fs -put ./zaiyiqi.txt /user/test/
  1. -rm：删除文件或文件夹
hadoop fs -rm /user/test/jinlian2.txt
  1. -rmdir：删除空目录
hadoop fs -rmdir /test
  1. -du统计文件夹的大小信息
hadoop fs -du -s -h /user/test
  1. -setrep：设置hdfs中文件的副本数量
 hadoop fs -setrep 10 /hadoop/hh.txt

这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数才能达到10。

hadoop fs、hadoop dfs与hdfs dfs命令的区别

Hadoop fs：使用面最广，可以操作任何文件系统。
hadoop dfs与hdfs dfs：只能操作HDFS文件系统相关（包括与Local FS间的操作），前者已经Deprecated，一般使用后者。

【大数据·hadoop】在hdfs上运行shell基本常用命令
Yaoyao2024的博客
05-11 4941
在Hadoop生态系统中，supergroup 是一个默认的用户组，通常与HDFS的超级用户（即 Hadoop 的管理员账户，类似于 Unix 系统中的 root 用户）关联。超级用户和属于 supergroup 组的用户通常有着对HDFS上所有文件和目录的全权限，这包括读取、写入和执行权限。
Hadoop 实战笔记（二）-- HDFS 常用 shell 命令总结
dazhong2012的专栏
01-09 441
更改文件的复制因子。如果 path 是目录，则更改其下所有文件的复制因子-w : 请求命令是否等待复制完成。
hadoop下hdfs的shell命令
火焰
01-29 539
列出hadoop中当前用户的数据目录 [root@localhost bin]# ./hdfs dfs -ls Found 2 items drwxr-xr-x - root supergroup 0 2019-01-25 15:24 input1 drwxr-xr-x - root supergroup 0 2019-01-25 15:26 out...
Hadoop_HDFS常用shell命令
weixin_48626604的博客
03-07 1094
HDFS常见shell命令 记得先启动集群 1.基本语法 ​ hadoop fs 具体指令 或者 hdfs dfs具体指令（两个是完全一样的） 2. 常用命令 （-mkdir）创建文件夹： hadoop fs -mkdir 文件名 （-moveFromLocal 或者 -put）从本地剪切粘贴到HDFS： hadoop -moveFromLocal 本地文件夹路径 HDFS文件路径 （-copyFromLocal）从本地文件系统中拷贝文件到HDFS路径中去： hadoop fs -cop
hdfs常用shell命令
Homer_Simpson的博客
04-24 904
基于ubuntu下hadoop伪分布式操作指令。 将hdfs文件系统下所有文件以级联的形式显示出来。 hdfs dfs -ls -R / 一次性创建一个三级文件夹。 hdfs dfs -mkdir -p folder1/folder2/folder3 在folder1/folder2/folder3目录下创建一个tempfile文件。 hdfs dfs -t...
HDFS常用Shell操作
沐雨金鳞
01-25 433
列出文件目录 hadoop fs -ls 目录路径 查看HDFS根目录下的目录：hadoop fs -ls / 递归查看HDFS根目录下的目录：hadoop fs -lsr / 创建文件夹 hadoop fs -mkdir 文件夹名称 上传文件到HDFS中 hadoop fs -put 本地源路径 目标存放路径 hadoop fs -put file /input/ 从HDFS中下载文件
Hadoop之HDFS的shell操作
01-07
Hadoop之HDFS概述 ：https://blog.youkuaiyun.com/weixin_45102492/article/details/104369155 HDFS的java客户端操作：https://blog.youkuaiyun.com/weixin_45102492/article/details/104378020 Hadoop之HDFS的数据流：...
HDFS常用Shell命令操作指南与示例解析
最新发布
07-10
本文简要介绍HDFS常用命令，实际开发中可通过执行 bin/hadoop fs 查看详细帮助。HDFS基本语法为 bin/hadoop fs 或 bin/hdfs dfs。为便于理解，下文用 T 代表目标路径 target。 基本命令如下： 启动 Hadoop 集群 启动...
HDFS常用Shell命令
01-07
本篇文章只是简单阐述一下HDFS中常用命令, 在实际开发中可使用 bin/hadoop fs查看命令详情 使用HDFS基本语法: bin/hadoop fs OR bin/hdfs dfs 注:为帮助快速理解并使用本文中使用T表示target 基本命令 1.启动...
大数据教程-HDFS常用Shell命令.md.zip
03-02
在大数据领域，Hadoop分布式文件系统（HDFS）是核心组件之一，用于存储海量数据。本教程将聚焦于HDFS的Shell命令，这些命令对于数据处理和管理至关重要。以下是HDFS Shell命令的一些基本知识和常见操作。 1. **查看...
配置shell脚本启动hdfs集群,crontab定时启动shell脚本
hf_666的博客
03-07 374
shell脚本 #!/bin/sh ps -ef|grep namenode|grep -v grep if [ $? -ne 0 ] then for host in node01 do ssh $host "source /etc/profile;nohup /root/export/servers/hadoop-2.6.0-cdh5.14.0/sbin/start-dfs.s...
hadoop集群配置踩坑实录
Mocode的博客
03-15 3736
配置hadoop集群时遇到三个坑：start-dfs.sh失败、hadoop文件夹无法传给其他节点、namenode进程启动不成功。根据自身经历进行记录。
Hbase的部署安装实践
煮酒blog
05-12 510
安装部署hbase 一、安装zookeeper 1.进入压缩包所在文件夹，解压并安装 解压安装路径 2.重命名安装文件 3.赋予用户当前目录的权限 4、将Zookeeper的安装路径添加到系统的环境变量之中 编辑用户根目录下的./bashrc文件，在尾部添加如下信息，并使用source ~/.bashrc命令使配置立即生效 5、配置Zookeeper存储数据的目录和日志输出目录，在zookeeper安装目录下创建data和log目录 修改配置文件，将zookeeper存储数据的目录修改为已创建的da
HDFS集群启动报错/usr/bin/env: bash: 没有那个文件或目录
qq_37436172的博客
05-05 1581
执行start-dfs.sh时报错。
linux bash 执行sh文件或目录,shell脚本中执行时提示“没有那个文件或目录”的解决办法...
weixin_36110673的博客
04-28 6862
shell脚本中执行时提示“没有那个文件或目录”的解决办法出现bad interpreter:No such file or directory的原因，是文件格式的问题。这个文件是在Windows下编写的。换行的方式与Unix不一样，但是在vim下面如果不Set一下又完全看不出来。问题分析：1、将windows 下编写好的SHELL文件，传到linux下执行，提示出错。2、出错信息：bad int...
CentOS 7.9 系统搭建 Hadoop 集群
花落花开的博客
03-18 4597
安装环境 虚拟软件：VMware® Workstation 16 Pro 虚拟机操作系统：CentOS 7.9-Minimal 虚拟机 IP：192.168.153.11、192.168.153.12、192.168.153.13 前期规划 Hadoop 集群包含两个集群：HDFS 集群、YARN 集群，两个集群在逻辑上分离，但通常会共用主机。 两个集群都是标准的主从架构集群。 HDFS 集群包含的角色（守护进程）： 主角色：NameNode 从角色：DataNode 主角色辅助角色：SecondaryN
Linux 解决 bash ./ 没有那个文件或目录 的方法
热门推荐
time_tries_all的博客
11-18 6万+
在ubuntu 64位下运行 ./xxx 会跳出来说没有这个文件或者目录，但是ls看又有这个文件，很是奇怪。 其实原因很简单，是因为他没有32位的运行库 ia32-libs ，直接安装即可。 apt-get install ia32-libs 可能会出现以下情况：XXX被其他软件包引用了，然而下列软件包会取代它：lib32ncurses5 lib32z1，那么可以使用如下方法： 方法零： ...
bash文件无法运行，提示没有那个文件或目录的解决方法
Waleking的专栏
04-13 1万+
bash文件无法运行，提示没有那个文件或目录的解决方法 http://hi.baidu.com/whyspai/blog/item/d24b905430bc88093b293549.html /bin/bash^M：损坏的解释器: 没有那个文件或目录 2011-04-20 14:07 现在在做Broadcom的BCM2157平台，发给我们的平
bash: start-dfs.sh: command not found
zl305866424的博客
12-21 7466
bash: start-dfs.sh: command not found
Hadoop中hdfs中shell命令集合
04-30
### Hadoop HDFS Shell 命令集合 以下是 Hadoop HDFS 中常用的 Shell 命令列表： #### 文件操作类命令 1. **上传文件到 HDFS** - 使用 `copyFromLocal` 或 `put` 将本地文件复制到 HDFS 上。 ```bash hadoop fs -copyFromLocal [本地地址] [hadoop目录] hadoop fs -put [本地地址] [hadoop目录] ``` 这两个命令功能相同，均用于将数据从本地文件系统传输至 HDFS[^1]。 2. **下载文件到本地** - 使用 `get` 或 `copyToLocal` 将 HDFS 文件下载到本地。 ```bash hadoop fs -get [hdfs路径] [本地地址] hadoop fs -copyToLocal [hdfs路径] [本地地址] ``` 3. **查看文件内容** - 查看 HDFS 文件的内容。 ```bash hadoop fs -cat [hdfs路径] ``` 4. **显示部分文件内容** - 显示文件开头部分内容（类似于 Linux 的 head 命令）。 ```bash hadoop fs -head [hdfs路径] ``` 5. **删除文件或目录** - 删除单个文件或整个目录。 ```bash hadoop fs -rm [hdfs路径] hadoop fs -rm -r [hdfs路径] ``` 6. **移动文件** - 移动文件位置或将文件重命名。 ```bash hadoop fs -mv [源路径] [目标路径] ``` 7. **创建空白文件** - 创建一个新的空文件（不推荐使用此方法）。 ```bash hadoop fs -touchz [hdfs路径] ``` #### 目录操作类命令 1. **创建目录** - 在 HDFS 上创建新目录。 ```bash hadoop fs -mkdir -p [hdfs路径] ``` 2. **列出目录内容** - 列出指定目录下的所有文件和子目录。 ```bash hadoop fs -ls [hdfs路径] ``` 3. **更改权限** - 修改文件或目录的访问权限。 ```bash hadoop fs -chmod [权限模式] [hdfs路径] ``` 4. **更改所有权** - 更改文件或目录的所有者。 ```bash hadoop fs -chown [用户名[:组名]] [hdfs路径] ``` #### 配置与状态查询类命令 1. **设置副本数量** - 设置 HDFS 文件的副本数量。 ```bash hadoop fs -setrep [-w] <副本数> <hdfs路径> ``` 如果需要递归地应用到目录中的所有文件，则加上 `-R` 参数[^2]。 2. **统计磁盘空间** - 统计当前目录及其子目录占用的空间大小。 ```bash hadoop fs -du -s -h [hdfs路径] ``` 3. **检查文件健康状况** - 检查 HDFS 文件的状态并报告损坏情况。 ```bash hadoop fsck [hdfs路径] ``` 4. **显示配置信息** - 展示客户端连接到 NameNode 和 DataNodes 的详细信息。 ```bash hadoop fs -stat [hdfs路径] ``` #### 集群管理类命令 1. **启动/停止集群服务** - 启动或关闭 HDFS 和 YARN 服务。 ```bash sbin/start-dfs.sh sbin/start-yarn.sh sbin/stop-dfs.sh sbin/stop-yarn.sh ``` 2. **单独控制节点进程** - 单独启停 NameNode/Datanode 或 ResourceManager/Nodemanager。 ```bash sbin/hadoop-daemon.sh start namenode sbin/hadoop-daemon.sh stop datanode sbin/yarn-daemon.sh start resourcemanager sbin/yarn-daemon.sh stop nodemanager ``` --- ### 注意事项 - 当执行某些敏感操作时可能会遇到错误提示。例如，在尝试调整副本策略时，需确认 `hdfs-site.xml` 是否已正确配置替换策略属性[^5]。 ```xml <property> <name>dfs.client.block.write.replace-datanode-on-failure.policy</name> <value>NEVER</value> </property> ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值