hadoop fs、hadoop dfs、hdfs fs、hdfs dfs区别

hadoop命令行操作 hadoop命令行操作 Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp... 阅读详情

(1) fs是一个通用的文件系统可以指向任何的文件系统如local,HDFS等,而dfs是分布式文件系统,是针对hdfs的(经博主验证,hdfs dfs也能用于操作local)。
(2) 使用hadoop dfs时内部会被转为hdfs dfs命令

Alt
fs:
调用文件系统(FS)Shell命令应使用 hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child,或者更简单的/parent/child(假设你配置文件中的默认值是namenode:namenodeport)。大多数FS Shell命令的行为和对应的Unix Shell命令类似。出错信息会输出到stderr,其他信息输出到stdout。

dfs:
If HDFS is being used,hdfs dfs is a synonym.
即,如果对于的是hdfs文件系统,hdfs dfs和hadoop fs一样。

默认scheme查看:

which hadoop #查看hadoop安装路径
cd 到安装路径
cd ./etc/hadoop
vi core-site.xml 

对应hdfs系统通常是:
<property>
<name>fs.defaultFS</name>
<value>hdfs://minecluster</value>
</property>
或者对应本地:
<property>
<name>fs.defaultFS</name>
<value>file://opt</value>
</property>

hadoop fs 和hdfs dfs都受上述默认变量控制

经验证,hdfs dfs也能控制本地文件系统。验证版本:Hadoop 3.1.1。

建议:还是用hadoop fs,官方文档里用的基本是这个。

参考:
https://www.cnblogs.com/hulianweb/p/13062971.html

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/FileSystemShell.html

https://stackoverflow.com/questions/30749364/where-is-the-default-scheme-configuration-in-hadoop

hadoop fsck命令详解 HDFS健康的标准:如果所有的文件满足最小副本的要求,那么就认为文件系统是健康的。 (HDFS is considered healthy if—and only if—all files have a minimum number of replicas available)检查HDFS的健康情况:hadoop提供了fsck tool来对整个文件系统或者单独的文件、目录来进行健康状态的检查。 阅读详情

相关推荐

hadoop fs常用到的命令整理

一、hdfs基本操作 hadoop fs与hdfs dfs等价 1.如何查看hdfs子命令的帮助信息,如ls hdfsdfs -help rmdir 2.查看hdfs文件系统中已经存在的文件 hdfsdfs -ls / hadoop fs -ls / 3.在hdfs文件系统中创建文件 hdfs dfs -touch /czz.txt 4.从本地路径上传文件到hd...

一亩三分地 1万+

Hadoop Shell命令

FS Shell 调用文件系统(FS)Shell命令应使用bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://nameno.

Rnan_prince的博客 1041

STM32的GPS数据提取程序设计说明——基于NMEA0183协议

一、硬软件平台 本次程序实现效果为对GPS信号穿送来的数据进行筛选,并将筛选后的信息通过上位机显示出来,所以此次设计所需硬件包括STM32F407、RS232转TTL、CH340USB转串口模块,注意该模块在使用前,对应的系统需要安装驱动,否则串口调试助手无法识别,另外还包括JLink下载器。 本次代码设计软件为KEIL5并结合F4固件包,上位机系统为WIN7,主机系统为WIN10。 二、算法总体思路设计 由于GPS通过RS232将数据传送给板子,因此使用两个串口资源(串口1和串口2),其中一个用来

小景的博客 6181

Hadoop—hadoop fs 命令使用

hadoop fs 基础命令汇总

sodaloveer的博客 4929

土地利用数据从1972到2023:如何利用Landsat和Sentinel数据构建长期变化监测模型

本文详细解析了如何利用1972至2023年的Landsat和Sentinel遥感数据构建土地利用长期变化监测模型。通过多源数据融合策略、时间序列预处理流程和深度学习算法,实现高精度的土地利用分类与变化检测,为生态评估和城市规划提供科学依据。文章还探讨了验证方法和实际应用案例,展示了长期遥感数据在环境建模中的独特价值。

weixin_28720573的博客 445

优惠券管理

(请设计一个优惠券兑换码生成方案,可以支持20亿以上的唯一兑换码,兑换码长度不超过10,只能包含字母数字,并且要保证生成和校验算法的高效)最后把签名值的后14位、新鲜值(4位)、自增序列(32位)拼接,得到一个50位二进制数,然后与一个较大的质数做异或运算加以混淆,再基于Base32或Base64转码,即可的对兑换码。现在,就剩下防止爆刷了。自增id从1增加到Integer的最大值,可以达到40亿以上个数字,而占用的字节仅仅4个字节,也就是32个bit位,距离50个bit位的限制还有很大的剩余,符合要求!

qq_36312661的博客 2204

hadoop fs、hadoop dfs与hdfs dfs命令的区别及hadoop fs命令说明

hadoop fs、hadoop dfs与hdfs dfs命令的区别及hadoop fs命令说明

Shyllin的博客 1万+

Camera metadata

Camera metadata

weixin_42136255的博客 2529

通俗易懂hadoop fs、hadoop dfs、hdfs fs、hdfs dfs区别

对于hadoop小白看到这几个命令时真的晕头转向,仔细研究了一番决定自己写歌笔记记下来~~~如有不对的地方欢迎指教 fs与dfs有什么区别呢? (1) fs是一个通用的文件系统可以指向任何的文件系统如local,HDFS等,而dfs是分布式文件系统,是针对hdfs的。 (2) fs > dfs。 (3) 分布式环境情况下,fs与dfs无区别。 (4) 本地环境中,fs就是本地文件,dfs就不能用了。 总结起来,这四个命令的区别与联系如下: ...

weixin_43631296的博客 6833

SAP ABAP实战:用GN_DELIVERY_CREATE批量创建内部交货单的完整代码与避坑指南

本文详细介绍了在SAP ABAP开发中使用GN_DELIVERY_CREATE函数批量创建内部交货单的完整实现方案。通过数据结构设计、多源数据整合、批量处理逻辑和错误处理机制等核心环节的深入解析,帮助开发者高效完成物流单据自动化处理,特别针对VL31N/VL32N等常见场景提供避坑指南。

weixin_42116058的博客 343

医学图像分割评价指标详解:从Dice到MSD的实战解析

本文深入解析医学图像分割的核心评价指标,从最常用的Dice相似系数到衡量边界精度的MSD(最大对称表面距离),通过实战案例与代码演示,系统阐述各指标的计算原理、应用场景及临床意义,帮助读者全面评估模型性能。

weixin_29070721的博客 593

hadoop fs,hadoop dfs以及hdfs dfs区别

hadoop fs,hadoop dfs以及hdfs dfs区别

紫蝶侠的博客 170

腾讯云TDSQL MySQL版 - 开发指南兼容性

语言结构 分布式实例支持所有 MySQL 使用的文字格式,包括: String Literals Numeric Literals Date and Time Literals Hexadecimal Literals Bit-Value Literals Boolean Literals NULL Values String Literals String Literals 是一个 bytes 或者 characters 的序列,两端被单引号'或者双引号"包围,TDSQL MySQL版

weixin_43872058的博客 909

Hadoop三大DFS命令区别:hadoop dfs、hadoop fs与hdfs dfs解析

Hadoop文件系统命令是大数据运维与开发的基础操作入口,其背后映射的是FileSystem抽象层的设计演进。从紧耦合的`hadoop dfs`到面向多存储的通用接口`hadoop fs`,再到专为HDFS优化的轻量代理`hdfs dfs`,三者分别代表了Hadoop架构中历史兼容、抽象解耦与性能极致三种技术路径。理解它们的调用链路(如FsShell、FileSystem.get、DFSClient)、配置加载机制(core-site.xml vs hdfs-site.xml)及权限触发时机(Kerbero

weixin_29032489的博客 270

【QGIS】软件下载安装及GIS4WRF插件使用

【QGIS】软件下载安装及GIS4WRF插件使用

WW、forever的博客 1800

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

Hadoop:hadoop fs、hadoop dfs与hdfs dfs命令的区别

'Hadoop DFS'和'Hadoop FS'的区别 While exploring HDFS, I came across these two syntaxes for querying HDFS: > hadoop dfs > hadoop fs why we have two different syntaxes for a common purpose 为什么会对同一个

沐埜专栏 5390

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

hadoop fs、hadoop dfs与hdfs dfs命令的区别

Hadoopfs:使用面最广,可以操作任何文件系统。 hadoopdfs与hdfsdfs:只能操作HDFS文件系统相关(包括与LocalFS间的操作),前者已经Deprecated,一般使用后者。 参考:http://blog.youkuaiyun.com/pipisorry/article/details/51340838 转载于:https://www.cnblogs...

weixin_30867015的博客 433

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

hadoop fs、hadoop dfs和hdfs dfs的区别

1、fs、dfs区别? (1) fs是文件系统, dfs是分布式文件系统。 (2) fs > dfs。 (3) 分布式环境情况下,fs与dfs无区别。 (4) 本地环境中,fs就是本地文件,dfs就不能用了。 (5) fs涉及到一个通用的文件系统,可以指向任何的文件系统如local,HDFS等。但是dfs仅是针对HDFS的。 2、为什么会对同一个功能提供两种命令标记? fs涉及到一个通用的文...

a1786742005的博客 7630

hadoop dfs、hadoop fs和hdfs dfs的区别

执行 hdfs 命令后可以看到如下帮助信息: Usage: hdfs [--config confdir] [--loglevel loglevel] COMMAND where COMMAND is one of: dfs run a filesystem command on the file systems supported in Hadoop. classpath prints the classpath nam

初阳 4275

hadoop fs, hadoop dfs, hdfs dfs命令的区别与联系

参考链接: https://stackoverflow.com/questions/18142960/whats-the-difference-between-hadoop-fs-shell-commands-and-hdfs-dfs-shell-co 先来一张图 1. hadoop fs命令可以用于HDFS、Local FS等不同的文件系统。而hdfs dfs命令只用于HDFS文件系统...

zmqsdu9001的博客 2414

hdfs/hadoop dfs/fs {arg}的区别

From stackoverflow. Following are the three commands which appears same but have minute differences hadoop fs {args} hadoop dfs {args} hdfs dfs {args} hadoop fs <args> FS relates...

weixin_30411819的博客 102
上一篇: Linux中父shell 与 子shell :subshell 和 child shell
下一篇: Linux中大括号,小括号,中括号
Code_LT
博客等级 码龄10年 307粉丝 182原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值