hadoop(一) 常用shell命令总结

最新推荐文章于 2022-08-19 21:06:03 发布

原创最新推荐文章于 2022-08-19 21:06:03 发布 · 1.3k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs shell

Hadoop 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了 Hadoop 文件系统 (HDFS) 中几个常用命令的功能与使用方法，包括查看目录大小、文件数量及目录详情等。还提供了清空回收站及删除文件夹的相关命令。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop fs -count -q  目录         // 查看目录下总的大小

2 1 none inf 1 0 0 /data/test_quota1
注：这里对上面的返回结果进行解释：
第1个值表示文件数限额
第2个值表示可用文件数
第3个值表示空间限额大小（字节）
第4个值表示可用空间大小（字节）
第5个值表示目录数
第6个值表示文件数
第7个值表示总大小
第8个值表示文件/目录名

hadoop fs  -du  目录              //查看目录下每个子目录的大小
hadoop fs  -expunge              //清空回收站
hadoop fs -rm -skipTrash path    //删除目录跳过回收站

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

MilkyTea'Ou

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Hadoop 实战笔记（二）-- HDFS 常用 shell 命令总结

dazhong2012的专栏

01-09

437

更改文件的复制因子。如果 path 是目录，则更改其下所有文件的复制因子-w : 请求命令是否等待复制完成。

hadoop hbase_shell操作命令

05-20

hadoop hbase_shell操作命令hadoop hbase_shell操作命令hadoop hbase_shell操作命令hadoop hbase_shell操作命令hadoop hbase_shell操作命令hadoop hbase_shell操作命令

参与评论您还未登录，请先登录后发表或查看评论

hadoop常用的shell命令

hearting的博客

03-26

531

常用的shell命令，在之后使用的时候可以作为参考。 hadoop fs 选项名称使用格式含义 -ls -ls <路径> 查看指定路径的当前目录结构 -lsr -lsr <路径> 递归查看指定路径的目录结构 -du -du <路径> 统计目录下个文件大小 -dus -dus <路径> 汇总统计目录下文件(夹)大小 ...

hadoop集群中常用shell脚本收集

Mr.Zheng的博客

03-04

768

前言感谢我关注的朋友，我亦无他，收集整理的大部分脚本。群发脚本XShell #!/bin/bash #1 获取参数，如果不够直接退出 pcount=$# if ((pcount==0)); then echo no args; exit; fi #2 获取文件名称 p1=$1 fname=`basename $p1` echo fname=$fname #3 获取上级目录到绝对路径 pdi...

Hadoop——shell脚本

m0_64181803的博客

03-20

346

Shell基础一、关于shell 1、什么是shell什么是shell？ Shell（外壳）是一个用C语言编写的程序，它是用户使用Linux的桥梁。Shell既是一种命令语言，又是一种程序设计语言。Shell是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。什么是脚本？脚本简单地说就是一条条的文字命令，这些文字命令是可以看到的（如可以用记事本打开查看、编辑）。常见的脚本：JavaScript（JS，前端），VBScript，ASP，JSP，PHP（后端），SQL（

Hadoop常用shell命令

01-07

显示当前目录结构 #显示当前目录结构 hadoop fs -ls [path] #递归显示当前目录结构 hadoop fs -ls -R [path] #显示根目录下内容 hadoop fs -ls / 创建目录 ...#二选一执行即可 hadoop fs -put [localsrc]

hadoop和HBase常用shell命令

01-10

Hadoop 和 HBase 常用 shell 命令在大数据处理中，Hadoop 和 HBase 是两个非常重要的组件。Hadoop 是一个分布式计算框架，用于处理大规模数据，而 HBase 是一个基于 Hadoop 的分布式数据库，用于存储和处理大规模...

hadoop2安装和常用shell命令

03-21

### Hadoop2安装与常用Shell命令详解 #### Hadoop2安装步骤在开始Hadoop2的安装之前，首先需要确保所有节点的操作系统版本为CentOS/Red Hat Linux 6.4_x64，并且每台服务器都已完成基本的系统配置。 ##### 系统...

Hadoop shell常用命令

10-22

该文档记录了在linux的shell环境下执行的hadoop的相关操作命令，包括多hafs文件的相关操作

hadoop的shell命令大全

04-02

这里囊括了所有操作hadoop的shell命令，十分齐全，，。

Hadoop 常用shell命令

说文科技，做有态度的研究。

12-22

655

Hadoop 常用shell命令 1. 文件操作查看文件 hadoop fs -ls / [root@server4 logs]# hadoop fs -ls / Found 2 items drwxr-xr-x - root supergroup 0 2018-12-18 11:25 /hbase drwxr-xr-x - root supergroup ...

大数据常用shell脚本之ha-hadoop脚本

广彐水厂

05-23

481

一、前置准备 CentOS7、jdk1.8、zookeeper-3.5.7、hadoop-2.7.7 想要完成本期视频中所有操作，需要以下准备： HA(高可用)-Hadoop集群环境搭建视频+图文教程大数据常用shell脚本之分发脚本编写-视频教程大数据常用shell脚本之zk脚本编写-视频教程二、简单了解 KaTeX parse error: Undefined control sequence: \* at position 1: \̲*̲表示传递给函数或脚本的所有参数…*”会将所有的参数

Hadoop 系列（六）—— HDFS 常用 Shell 命令

黑白影的博客

06-07

633

1. 显示当前目录结构 # 显示当前目录结构 hadoop fs -ls <path> # 递归显示当前目录结构 hadoop fs -ls -R <path> # 显示根目录下内容 hadoop fs -ls / 2. 创建目录 # 创建目录 hadoop fs -mkdir <path> # 递归创建目录 hadoop fs -mkdir -p...

hadoop中常用的shell命令

yinbucheng的博客

04-21

1063

hadoop fs -mkdir /wc 创建目录 hadoop fs -mkdir /wc/srcdata 创建多目录 hadoop fs -put 文件 /wc/srcdata 将文件上传到hadoop服务器指定的目录下 hadoop fs -ls /wc/output 列出hadoop指定目录下的文件们 hadoop fs -cat /wc/output/文件编辑

hadoop入门：hadoop使用shell命令总结

on the way的专栏

07-12

1063

第一部分：Hadoop Bin 后面根据项目的实际需要Hadoop Bin 包括: Hadoop hadoop的Shell hadoop-config.sh 它的作用是对一些变量进行赋值 HADOOP_HOME（hadoop的安装目录）。 HADOOP_CONF_DIR（hadoop的配置文件目录）。HADOOP_SLAVES（--hosts指定的文件的地址）

【hadoop】hadoop学习笔记-shell命令

Row Row Row your boat

09-29

328

参考自官方文档 http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件

hadoop常用shell脚本纯享版

TTDZS的博客

08-19

604

1.集群分发脚本 2.集群启停脚本 3.java进程脚本

hadoop常用shell命令

06-01

Hadoop常用的shell命令有：hdfs dfs -ls列出HDFS中的文件和目录；hdfs dfs -rm删除HDFS中的文件；hadoop jar运行Hadoop的MapReduce任务；yarn application -list列出YARN上运行的应用程序；yarn application -kill杀...