HDSF文件操作

HDSF主要节点讲解(二)工作原理 hadoop数据写入和读之原理分析 阅读详情
  • 在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt,里面可以随意输入一些单词.
    • 在本地查看文件位置(ls)
    • 在本地显示文件内容
    cd /usr/local/hadoop
    touch test.txt
    //此处编辑test.txt
    cat test.txt
  • 使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。
    ./sbin/start-dfs.sh
    ./bin/hdfs dfs -mkdir -p /user/hadoop
    ./bin/hdfs dfs -mkdir input
    ./bin/hdfs dfs -put ./test.txt input
  • 查看hdfs中的文件(-ls)
    //hdfs中的文件(夹)
    ./bin/hdfs dfs -ls
    //hdfs 中input的所有文件(夹)
    ./bin/hdfs dfs -ls input
  • 显示hdfs中该的文件内容
    ./bin/hdfs dfs -cat input/test.txt
  • 删除本地的txt文件并查看目录
    ./bin/hdfs dfs -rm -ls input/test.txt
  • 从hdfs中将txt下载地本地原来的位置。
    ./bin/hdfs dfs -get input/test.txt ~/test.txt
  • 向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件;
    cd bin/
    $ if $(./hdfs dfs -test -e input/test.txt); 
    then $(./hdfs dfs -appendToFile ~/test.txt input/test.txt); 
    else $(./hdfs dfs -copyFromLocal ~/test.txt input/test.txt);
    fi 
  • 从HDFS中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名;
    if $(./hdfs dfs -test -e input/test.txt);
    then $(./hdfs dfs -copyToLocal input/test.txt ~/test.txt); 
    else $(./hdfs dfs -copyToLocal input/test.txt ~/test2.txt); 
    fi
  • 将HDFS中指定文件的内容输出到终端中;
    ./hdfs dfs -cat  input/test.txt
  • 显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息;
    ./hdfs dfs -ls  input/test.txt
  • 给定HDFS中某一个目录,输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息,如果该文件是目录,则递归输出该目录下所有文件相关信息;
    ./hdfs dfs -ls -R /user
  • 提供一个HDFS内的文件的路径,对该文件进行创建和删除操作。如果文件所在目录不存在,则自动创建目录;
    //创建
    if $(./hdfs dfs -test -d dir1/dir2);
    then $(./hdfs dfs -touchz dir1/dir2/filename); 
    else $(./hdfs dfs -mkdir -p dir1/dir2 && hdfs dfs -touchz dir1/dir2/filename); 
    fi

    //删除
    ./hdfs dfs -rm dir1/dir2/filename
  • 提供一个HDFS的目录的路径,对该目录进行创建和删除操作。创建目录时,如果目录文件所在目录不存在则自动创建相应目录;删除目录时,由用户指定当该目录不为空时是否还删除该目录;
    ./hdfs dfs mkdir -p dir0/dir1
    ./hdfs dfs rmdir dir0
    ./hdfs dfs -rm -r dir0
  • 向HDFS中指定的文件追加内容,由用户指定内容追加到原有文件的开头或结尾;
    ./hdfs dfs -appendToFile ~/test.txt input/test.txt 
  • 删除HDFS中指定的文件;
    ./hdfs dfs -rm targetFile
  • 删除HDFS中指定的目录,由用户指定目录中如果存在文件时是否删除目录;
    ./hdfs dfs -rmdir dir
  • 在HDFS中,将文件从源路径移动到目的路径。
    ./hdfs dfs -mv input/test.txt input/test2.txt

参考链接:
shell命令
|- https://blog.youkuaiyun.com/caoyongjunjava/article/details/44560849
|- http://www.jb51.net/article/34332.htm
HDSF操作
|- https://wenku.baidu.com/view/d52aebffbb0d4a7302768e9951e79b896802689c.html
|- https://www.jianshu.com/p/0663d74b79b5

Revit Dynamo实战:用Excel数据批量生成桥梁模型(附自适应族技巧) 本文详细介绍了如何利用Revit Dynamo结合Excel数据实现桥梁参数化建模,重点讲解了数据驱动建模、自适应族优化及大型项目性能管理三大核心技巧。通过结构化Excel数据、高级自适应族创建和分块处理策略,显著提升桥梁建模效率与设计变更响应能力。 阅读详情

相关推荐

ArcGIS实战:地形湿度指数(TWI)计算全流程解析

本文详细解析了ArcGIS中地形湿度指数(TWI)的计算全流程,从DEM数据获取、填洼处理到水流方向与汇流累积量计算,最终实现TWI的精准计算。通过实战步骤指导,帮助读者掌握水文建模和土壤湿度预测的关键技术,适用于农业规划、生态研究等领域。

weixin_29231725的博客 869

分布式文件系统HDFS 练习

作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3292 1.目录操作: (1)、在HDFS中为hadoop用户创建一个用户目录(hadoop用户): (2)、在用户目录下创建一个input目录: (3)、在HDFS的根目录下创建一个名称为input的目录 (4)、删除HDFS根目录中的“input”目录: 2.文...

weixin_30919919的博客 184

ArcGIS 10.4 Desktop安装步骤。

步骤 1 :安装 LicenseManager 有了安装包以后,我们进入安装包文件目录,如图所示,首先需要安装ArcGIS license manager,即点击打开图中红色框中exe文件。 PS:安装 LicenseManager,关于 License 的安装路径一般默认即可,因为很小的,装C 盘也无所谓了,当然了自己改了也可以的,但是不建议! 即便修改路径,建议只改盘符,不修改相对路径方式! 如:C:\Program Files (x86)\ArcGIS\License10.6 修改为 D:\.

IT爱好者 2万+

熟悉常用的HDFS操作

在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt,里面可以随意输入一些单词. mkdir hadoop cd hadoop touch 123.txt gedit 123.txt 在本地查看文件位置(ls) ls -al 在本地显示文件内容 gedit 123.txt 使用命令把本地文件系统中的“txt”上传到HD...

alxna0852的博客 554

手把手教你搭建基于Springboot+Vue的酒店管理系统

友友们,又是好久没更新了,马上元旦了,要迈入2025蛇年了,提前祝大家蛇年快乐,学有所成,本文博主将带领大家使用Springboot和Vue搭建一个酒店管理系统,受限于本文篇幅内容,本文罗列仅有部分简单示例内容,主要包括前后端示例源码。通过本文,你将大致掌握如何快速搭建一个现代化的Web应用。如果您想学习完整开发方案,包括项目源码+数据库文件+全套环境资源+代码部署视频教程+开发文档】获取学习资源,支持远程安装调试:一、项目背景随着互联网技术的不断发展,酒店行业对信息化的需求越来越高。

暴力码农的博客 1324

电网加密芯片全解析:分类与功能​

在电网数字化转型的浪潮中,数据安全和设备的身份认证变得愈发重要。加密芯片作为保障电网信息安全的核心部件,凭借独特的技术特性,在不同应用场景下发挥着关键作用,有力推动着智能电网的安全稳定发展。接下来,我们将对电网中常见的加密芯片展开分类介绍,并探讨其对应的功能。​。

1963

常用的HDFS操作

常用HDFS操作 进入hadoop目录 cd /usr/local/hadoop 然后启动hadoop服务 ./sbin/start-all.sh 进入集群根目录 hadoop dfs -ls / 创建两个文本文件 echo "hello world" >> test_local.txt echo "hello hadoop" >> test_pu...

追梦丶 1718

制作Ubuntu22.04启动盘

现在越来越多程序代码都需要运行在linux环境下,运行这些代码的前提是安装一个稳定的linux操作系统。本文选择Ubuntu 22.04去制作系统启动盘。本文主要对ubuntu22.04的启动盘制作过程进行了详细的说明,希望能帮助到有需要的朋友。

lyx_ok的博客 1万+

hdfs shell命令touch和touchz的区别

hdfs dfs -touchz命令用于创建一个空文件,如果文件已经存在,则不会更新文件的访问和修改时间。如果文件不存在,则创建一个新的空文件。hdfs dfs -touch命令用于创建一个空文件,如果文件已经存在,则更新文件的访问和修改时间。总结起来,hdfs dfs -touch命令会更新文件的访问和修改时间,而hdfs dfs -touchz命令不会更新文件的访问和修改时间。hdfs dfs touch和touchz命令是Hadoop分布式文件系统(HDFS)中用于创建文件的两个命令。

m0_63307477的博客 1570

Claude Desktop Cowork国内实操指南:本地文件自动化办公

大语言模型正从‘问答式AI’迈向‘执行型协作者’,其核心能力在于直接操作本地文件、调用系统工具并嵌入真实工作流。Claude Desktop的Cowork模式正是这一范式的代表,它通过轻量沙箱VM实现对Excel、PPT、PDF、音视频等办公资产的读写与处理,无需手动编码即可完成数据清洗、会议纪要生成、自动化报告输出等任务。技术价值体现在权限可控、环境隔离、结果可交付;典型场景覆盖行政文秘的文档流转、销售运营的数据分析、开发者的脚本调试与环境验证。本文聚焦国内用户高频卡点——网络链路、系统权限与工作流断层,

weixin_30617737的博客 468

BPC坏点矫正

whatis the Bad Pixel? 坏点为死点,也就是基本不随照度变化呈现光电线性转换的关系。表现为暗态常亮,亮态常暗。 坏点分类:静态坏点:亮坏点,暗坏点。 动态坏点:在一定像素范围内,该点表现正常,而超过这一范围,该点表现的比周围像素要亮。与sensor ...

camerall 1万+

Hadoop实验——熟悉常用的HDFS操作

一,编程实现以下指定功能,并利用Hadoop提供的Shell命令完成相同任务: 向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件 Shell命令实现:1.先到Hadoop主文件夹cd /usr/local/hadoop2.启动Hadoop服务 sbin/start-dfs.sh sbin/start-yarn.

蓝星花 3万+

【2025华为OD机考真题】- 简易内存池(B卷-200分)(C版)

🔔本文收录于「最新最全华为OD机试真题(C版)」专栏,手把手带你零基础教学华为OD机试。本题集提供最优题解思路,解题步骤,代码解析,复杂度分析及最优题解源码等,支持多语言题解,助你轻松拿捏OD机考,一举上岸!安利大家关注&&收藏&&订阅!题库正在疯狂收录中,up!up!up!! 🚫提醒:拒绝一切代考/替考,违法必究!专栏所写题库均精心搜集于互联网,经过精心筛选和整理,结合数位十多年大厂实战经验资深大佬经验所撰,欢迎订阅。    💗订阅福利:一次订阅,可永久免费阅读,提供在线答疑解惑,后续题库更新皆可阅

**My Coding Family** 962

HDSF的读写流程

HDSF的读写流程 HDFS写数据的流程 如图: 1.客户端通过Distributed模块向Namenode请求上传文件,Namenode呢?他回去检查这个文件是否存在,还有他的父目录是否存在。如果文件存在,那就到了第二步 2.Namenode返回响应说:可已上传文件。 3.客户端的Distributed模块收到信号后将要传的文件发给NameNode让Namenode来分配他到底存在哪个节点上 ...

stack_11的博客 714

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

HDSF 简介

DMA将一个内存区从一个设备复制到另外一个。当中央处理器初始化这个传输动作,传输动作本身是由。

wuhahaq的博客 937

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

HDSF知识点介绍

HDSF知识点详解

ziania_cumt的博客 737

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

HDSF中的 API的使用

1.根目录中文件的遍历 public static void list()throws Exception{ //1.创建客户端或者服务器 Configuration conf = new Configuration() ; //2.和hadoop连接起来 FileSystem hdfs=FileSystem.get(new URI("hdfs://192.1...

weixin_44519124的博客 1745

HDSF的读写机制

HDFS的写机制 1、客户端(clend)发送一个请求给NameNode,请求写入一个文件 2、NameNode查看客户端是否有权限写入文件,并且查看是否已经储存了此文件,如果客户端有权限,NameNode返回给客户端一个响应,如果没有,就抛会给客户端一个异常 3、客户端接受到响应后,按照128M的大小把文件切成一个一个的Block块,然后再发送给NameNode,等待NameNode返回存放的...

weixin_45587485的博客 460

HDSF集群扩容

A: 准备一个全新的节点(新节点准备) 1、关闭防火墙 2、关闭selinux 3、修改主机名 4、主机名与IP的对应关系 5、SSH免密码登录 6、安装JDK B: 添加到集群 1、创建HDFS的Datanode的白名单 touch dfs.hosts 2 、修改hdfs-site.xml,将白名单添加到配置文件中 dfs.hosts /export/servers/hadoop-2.6.0...

LiBing686的博客 879

HDSF学习

一、HDFS简介HDFS是基于流数据模式访问和处理大文件的需求而开发的,它可以运行与廉价的商用服务器上。 特点: (1)处理超大文件 (2)流式地访问数据 (3)运行于廉价的商用机器集群上 缺点: (1)不适用低延迟数据访问 (2)无法高效存储大量小文件 (3)不支持多用户写入及任意修改文件二、HDFS相关概念(1)块 文件以块的形式存储在磁盘中,64MB/块 (2)NameNo

GitzLiu 1894

HDSF小结

1、Active Namenode 2、Standby NameNode 3、Datanode 4、Client 文件切分 HDFS的一些拓扑结构 HDFS可靠性策略 文件完整性 校验码CRC32,用其他的副本取代损坏文件 Heartbeat Datanode 定期向Namenode发送心跳 元数据信息 FSImage(文件系统镜像)、Editlog(操作日志) 多份备份 ...

道亦无名 1401

hdsf分布式总结

一,搭建伪分布式及完全分布式 Hdfs:hadoop distributed file system 1)前期准备工作 1>安装虚拟机后 配置如下 配置本地网络适配器 2>虚拟机的NAT网络设置 2)配置虚拟机 1>修改主机名称 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop01 需要重启机器 2>修改静态...

qq_33883514的博客 587

HDSF核心-HDFS高级

HDFS的回收站 我们windows系统里面有一个回收站,当想恢复删除的文件的话就可以到这里面进行恢复,HDFS也有回 收站。 HDFS会为每一个用户创建一个回收站目录:/user/用户名/.Trash/,每一个被用户在Shell命令行删除的 文件/目录,会进入到对应的回收站目录中,在回收站中的数据都有一个生存周期,也就是当回收站中的 文件/目录在一段时间之内没有被用户恢复的话,HDFS就会自动的把这个文件/目录彻底删除,之后,用 户就永远也找不回这个文件/目录了。 默认情况下hdfs的回收

song_quan_的博客 354

hdsf dfs 命令

官方文档:http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/FileSystemShell.html#count -ls 查看目录下内容,包括文件名,权限,所有者,大小和修改时间 Usage:hdfs dfs -ls [-R] < args> 选项:-R 递归地显示子目录下的内容 -du  显示给定目录中包含的文件和目录的大小或文件的长度,用字节大小表示。   hdfs...

光尘的博客 552

HDSF部署

1、上传hadoop-3.3.6.tar.gz跟jdk-17_linux-x64_bin.tar.gz到服务器的/opt目录下。6、执行格式化 /opt/hadoop-3.3.6/bin/hdfs namenode -format。4、执行source /etc/profile使配置生效,执行java -version进行验证。出现 has been successfully formatted 字样即成功。5、进入hadoop目录,cd /opt/hadoop-3.3.6,配置hdfs。

qq904748592的博客 176

Hadoop HDFS常用文件操作命令

hadoop HDFS常用文件操作命令

onlyyou0516的博客 1002
上一篇: Hibernate | Spring JPA | MySQL 使用过程遇到的一些问题
下一篇: 在‘句子迷’爬取网友总结的方文山歌词并作词频统计
lger_Pro
博客等级 码龄10年 44粉丝 48原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值