HDFS常用管理命令

最新推荐文章于 2022-12-07 08:12:36 发布
原创 最新推荐文章于 2022-12-07 08:12:36 发布 · 1.5k 阅读 · 4 ·
CC 4.0 BY-SA版权
本文为博主原创文章，转载请注明出处http://blog.youkuaiyun.com/wsdc0521
文章标签：

#HDFS #权限 #dfsadmin

本文详细介绍HDFS中如何设置空间配额、清除空间限制、获取及设置ACL权限，以及统计目录的文件数量和空间使用情况。通过具体命令示例，帮助读者掌握HDFS的高级管理技巧。

设置空间Quota

hdfs dfsadmin -setSpaceQuota 500g /path/xxx/ 

报告hdfs使用情况

hdfs dfsadmin -report 

清除空间使用限制

hdfs dfsadmin -clrSpaceQuota /user/testname

取得目录acl权限
 

hdfs dfs -getfacl /user/testname

设置用户访问权限

hdfs dfs -setfacl -m user:testname:rwx /user/testname

统计目录文件夹数量、文件数量、空间使用量

hdfs dfs -count -q -h -v /user                           

HDFS常用的shell命令
CHEN的博客笔记
10-28 1万+
HDFS Shell命令使用 hadoop fs与hdfs dfs的命令的使用是相似的，本实验使用的是hdfs dfs命令，所有命令的操作都是在hadoop用户下进行。 1.1.1.1. mkdir：创建文件夹 使用方法：hdfs fs -mkdir [-p] 接受路径指定的uri作为参数，创建这些目录。其行为类似于Unix的mkdir -p，它会创建路径中的各级父目录。 示例1:在分布式主目录下新建文件夹test [hadoop@master ~]$ hdfs dfs -mkdir /test [had
大数据笔记 | HDFS 常用操作命令
码农UP2U
11-16 9335
HDFS 是 Hadoop Distributed File System 的简写，即 Hadoop 分布式文件系统。它是 Hadoop 项目的核心子项目，它为大数据分布式计算提供了海量数据的存储与管理。 既然 HDFS 是文件系统，那么它必然有一套对文件管理的命令，这里介绍一下 HDFS 常用的文件管理命令。 一、HDFS 命令前缀 所有操作 HDFS 的命令都需要前缀，它的前缀有两种，分别是 hadoop fs 或 hdfs dfs ...
常用hdfs管理命令实战
u013705132的博客
04-30 301
hdfs dfsadmin -safemode enter #进入Safemode模式 hdfs dfsadmin -safemode get #获取当前运行模式 hdfs dfsadmin -safemode leave #退出Safemode模式 hadoop dfsadmin -report #当前hadoop集群datanode节点状态信息 hdfs dfsadmin -refreshNo...
hdfs 查看报告--命令(hdfs dfsadmin -report)
weixin_30312563的博客
12-11 1960
[hadoop@master sbin]$ hdfs dfsadmin -reportConfigured Capacity: 8202977280 (7.64 GB)Present Capacity: 4421812224 (4.12 GB)DFS Remaining: 4046110720 (3.77 GB)DFS Used: 375701504 (358.30 MB)DFS Used%: 8...
1+X考试1
m0_64391998的博客
12-07 4057
“1+X”大数据平台运维职业技能等级证书（初级）-机试练习题库 “1+X”大数据平台运维职业技能等级证书（初级）- 机试练习题库 一、单选题 30 道 大数据平台安装 5 道 1、从 Vi 编辑模式下保存配置返回到 Centos7 系统使用（ C ) A.按“shift”+“：”组合 B.按“Esc”键，然后按“shift”+“：”组合 C.按“Esc”键，然后按“shift”+“：”，输入wq 回车 D.直接输入“exit” 2、在 Centos7 系统中，查看和修改 IP 信息需要用到（
hdfs常用操作命令
小爷欣欣
05-04 1万+
　　先说一下"hadoop fs 和hadoop dfs的区别"，看两本Hadoop书上各有用到，但效果一样，求证与网络发现下面一解释比较中肯。　　粗略的讲，fs是个比较抽象的层面，在分布式环境中，fs就是dfs，但在本地环境中，fs是local file system，这个时候dfs就不能用。5.1 文件操作　　1）列出HDFS文件　　此处为你展示如何通过"-ls"命令列出HDFS下的文件：ha...
使用命令查看hdfs运行状况
知也无涯
10-25 4075
查看hdfs运行状况 该命令查看，比在界面上访问更为准确，也更为具体 hdfs dfsadmin -report
精选资源
大数据技术基础实验报告-HDFS常用操作命令.doc
08-21
本实验报告主要关注HDFS的常用操作命令，这些命令是管理员和数据分析师日常工作中不可或缺的工具。 实验开始时，通过执行`start-dfs.sh`命令启动HDFS服务。这是在Hadoop集群中启动所有DataNode和NameNode节点的关键...
HDFS常用Shell命令操作指南与示例解析
最新发布
07-10
本文简要介绍HDFS常用命令，实际开发中可通过执行 bin/hadoop fs 查看详细帮助。HDFS基本语法为 bin/hadoop fs 或 bin/hdfs dfs。为便于理解，下文用 T 代表目标路径 target。 基本命令如下： 启动 Hadoop 集群 启动...
大数据教程-HDFS常用Shell命令.md.zip
03-02
本教程将聚焦于HDFS的Shell命令，这些命令对于数据处理和管理至关重要。以下是HDFS Shell命令的一些基本知识和常见操作。 1. **查看当前目录（pwd）**： 使用`hadoop fs -pwd`命令可以显示当前工作目录，它类似于...
HDFS基本命令的使用：
qq_56870570的博客
06-18 355
hdfs文件的相关操作主要使用hadoop fs、hadoop dfs、hdfs dfs 命令，以下对最常用的相关命令进行简要说明。 hadoop fs -ls 显示当前目录结构，-ls -R 递归显示目录结构 hadoop fs -mkdir 创建目录 hadoop fs -mkdir -p < hdfs path> 所创建的目录如果父目录不存在就创建该父目录 hadoop fs -count < hdfs path >统计hdfs对应路径下的目录个数，文件个数，文件总计大小...
hadoop集群空间使用情况报告脚本
xuyaqun的专栏
05-08 4044
最近集群空间有点紧张，总是担心空间不足而崩溃，近期扩容又不太现实，经与集群用户沟通发现：集群上存储了很多无用的历史数据，可以删除，这样就可以通过一个crontab脚本每天生成集群空间使用报告，当使用量超过70%、80%是分别报警，并通知那些用户占用空间较大，预留当机冗余空间，这样就不需要时刻担心集群空间爆满了。 [hdfs@hanagios48 root]$ more  /home/hd
HDFS常用命令
热门推荐
qq_45494908的博客
12-02 2万+
-
【HDFS篇】HDFS的常用的命令操作汇总
chenshi_2753的博客
02-28 938
一、HDFS 基本的检查操作如下： 部分举例如下： 1、查看空间使用情况：hdfs dfs -df -h Filesystem Size Used Available Use% hdfs://mycluster 288.8 G 34.4 M 269.2 G 0% 2、查看文件列表：hdfs dfs -ls / Found 4 item...
HDFS操作及命令介绍
HaiJaine的博客
10-03 6650
HDFS常用命令 <path> … hdfs中一个或多个路径，如果未指定，默认为/user/<currentUser> <localsrc> … 本地文件系统的的一个或多个路径 <dst> hdfs中目标路径 查看帮助 命令：hdfs dfs -help [cmd ...] 参数： cmd... 需要查询的一个或多个命令 创建目录 命令：hdfs dfs -mkdir [-p] <path> ... 参数： -p 进行递归创建 创建
HDFS操作的常用命令
mlin的博客
10-10 876
HDFS常用命令: 上传文件: hdfs dfs -put src... dest hdfs dfs -copyFromLacal src... dest hdfs dfs -moveFromLocal src... dest //将本地的文件移动到HDFS中 创建新目录: hdfs dfs -mkdir /test //级联创建: hdfs dfs -appendToFile cba /tes...
HDFS常用命令总结
qq_38777880的博客
04-20 2303
在HDFS中所有的Hadoop命令均由bin/hadoop脚本引出，不指定参数运行Hadoop脚本会打印出所有命令的描述。这篇博文总结一下常用的HDFS命令的操作。 一、version命令 version命令可以打印Hadoop版本的详细信息。 $ hadoop version 二、dfsadmin命令 dfsadmin命令可以查看集群存储空间使用情况和各节点存储空间使用情况。 # hadoop dfsadmin -report 三、jar命令 jar命令是运行jar包文件命令。用户
大数据之Hadoop命令
09-16 1240
1.hdfs命令行 （1）查看帮助 hdfs dfs -help （2）查看当前目录信息 hdfs dfs -ls / （3）上传文件 hdfs dfs -put /本地路径 /hdfs路径 （4）剪切文件 hdfs dfs -moveFromLocal a.txt /aa.txt （5）下载文件到本地 hdfs .
HDFS常用Shell命令教程
资源摘要信息:"大数据教程-HDFS常用Shell命令.md" 在大数据领域，Hadoop是一个非常重要的开源框架，它允许使用简单的编程模型跨计算机集群分布式处理大量数据。Hadoop的核心之一是HDFS（Hadoop Distributed File ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王义凯_Rick

遇见即是缘，路过就给个评论吧~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值