（三）HDFS文件操作

最新推荐文章于 2022-12-13 10:57:53 发布
最新推荐文章于 2022-12-13 10:57:53 发布
阅读量481 收藏
点赞数 2
CC 4.0 BY-SA版权
分类专栏： hadoop 文章标签： hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/TimliangL/article/details/78210616

Hadoop使用的是HDFS，实现的功能和我们使用的磁盘系统类似，支持通配符。
1、查看文件列表
查看hdfs中/目录下的所有文件的详细信息。
hadoop fs -ls /
递归的查看hdfs中/目录下所有文件（包括子目录下文件）
hadoop fs -lsr /
2、创建文件目录
在/目录下新建一个newDIr的新目录
hadoop fs -mkdir /newDir
3、删除文件
删除/目录下名叫hello的文件
hadoop fs -rm /hello
删除/目录下newDir目录和其中所有文件
hadoop fs -rmr /newDir
4、上传文件
上传一个Localhost/root/myCode/testFile目录下的hello11到HDFS文件系统的/目录下
hadoop fs -put /root/myCode/testFile/hello11 /
5、下载文件
下载一个HDFS文件系统的/目录下的hello11到Localhost/root/myCode/testFile目录下
hadoop fs -get /hello11 /root/myCode/testFile
6、查看文件内容
查看HDFS中/hello文件内容
hadoop fs -cat /hello

Java操作hdfs文件系统
congge
12-26 1万+
前言 在上一篇，我们通过命令行的使用掌握了如何基于hdfs的命令对hdfs文件系统的常用操作，本篇将分享如何基于JavaAPI 操作hdfs文件系统 前置准备 默认服务器上的hadoop服务已经启动 本地如果是windows环境，需要本地配置下hadoop的环境变量 本地配置hadoop的环境变量 1、官网下载一个与服务器上的hadoop同样的版本包 2、将这个路径配置到系统变量中 编码环境前置准备 使用idea快速构建一个springoot的工程 1、导入maven依赖 <depende
hdfs基本操作，上传、下载、删除
提炼技能，形成智慧
05-07 1701
hadoop程序中对hdfs的操作必不可少，粘贴一个工具类，分享给大家。 import java.io.File; import java.io.FileInputStream; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataOutputStream; import org.ap
大数据-HDFS的Shell操作
m0_62492032的博客
12-13 1241
将/ied01/book.txt复制到/ied02目录，改名为read.txt，执行命令：hdfs dfs -cp /ied01/book.txt /ied02/read.txt。将/ied01/exam.txt更名为/ied/test.txt，执行命令：hdfs dfs -mv /ied01/exam.txt /ied01/test.txt。创建待上传文件存放的目录/export/data/logs/toupload，执行命令：mkdir -p /export/data/logs/toupload。
Hadoop（二）之HDFS详解
myroncham的博客
11-27 348
目录： 1、hdfs的shell操作 2、HDFS的一些concept（概念）和特性 2.1、概述 2.2、特性 3、HDFS的java操作 3.1、搭建开发环境 3.2、在java中操作hdfs，首先要获得一个客户端实例 4、hdfs的工作机制 5、namenode工作机制 5.1、namenode职责： 5.2、hdfs元数据是怎么存储的？ 6、datanode的工作机...
一些基础的HDFS命令
Cheengvho的博客
08-20 365
查询HDFS中的文件或文件夹： $ hdfs dfs -ls /XXfolder/Xfolder 创建查看文件内容，以test.log文件为例： $ hdfs dfs -cat /test/test.log 或（直接查看test下面所有文件的内容，*为通配符，根据自己需要自行编写过滤条件） $ hdfs dfs -cat /test/* 同时查看几个选定的文件： $ hdfs df...
大数据课堂笔记 HDFS的shell操作
qq_66293661的博客
11-17 2110
HDFS的shell操作
hadoop的hdfs文件操作实现上传文件到hdfs
09-04
在分布式计算领域，Apache Hadoop 是一个开源框架，主要用于存储和处理大规模数据。Hadoop 的核心组件之一是 HDFS...通过实例化的 `FileSystem` 对象，你可以轻松地执行各种文件操作，从而充分利用 HDFS 的分布式特性。
HDFS文件读写操作
10-11
### HDFS文件读写操作详解 #### 一、HDFS架构概述 HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目之一，旨在提供高吞吐量的数据访问，适用于大规模数据集上的应用。HDFS采用了Master/Slave的...
HDFS文件操作命令与HDFS编程
04-10
文档详细的讲述了Hadoop中HDFS文件操作命令和HDFS编程
java对大数据HDFS文件操作
04-04
6. **项目示例**：提供的两个项目"java对HDFS文件操作jar包版"和"java对HDFS文件操作maven版.zip.zip"可能包含了上述操作的完整实现。`jar包版`可能是一个已经编译好的可执行程序，可以直接运行。而`maven版`则是一...
Hadoop_HDFS（二）：Shell操作之文件的管理（上传下载删除等）
全栈川川
08-29 3040
HDFS的shell操作
（五）hadoop路径读取文件的通配符
TimliangLei
10-11 4576
一、通配符 通配符 注解 * 代表0到多个字符 ? 代表单一字符 [ ab ] 代表字符类型，匹配{a,b}中的一个字符 [ ^ab ] 代表不是｛a,b｝中的一个字符 [ a-b ] 代表匹配一个a到b之间的字符包括ab，ASCII代码在a-b之间的 [ ^a-b] 代表不在a到b之间的字符包括ab {a,b} 代表匹配a或b的一个语句
hadoop 文件通配符
热门推荐
少说，多做
03-26 1万+
public class FileWildCard { public static void main(String[] args) throws IOException { Configuration conf = new Configuration(); FileSystem fs = FileSystem. get(conf); String di
hadoop输入路径读取文件的正则通配符
u013013024的博客
11-11 1万+
1.    *                                代表0到多个字符 2.   ?                                代表单一字符 3.   [ ab ]                         代表字符类型，匹配{a,b}中的一个字符 4    [ ^ab ]                        代表不是｛a,b｝中的
Hadoop和spark中读取文件通配符使用举例
junehappylove（王俊伟）的专栏
11-30 4074
在单个操作中处理一批文件，这是一个常见的要求。举例来说，处理日志的MapReduce作业可能需要分析一个月内包含在大量目录中的日志文件。在一个表达式中使用通配符来匹配多个文件是比较方便的，无需列举第个文件 和目录来指定输入，该操作称为”通配”(globbing)。Hadoop 为执行通配提供了两个FileSystem方法：public FileStatus[] globStatus(Path pat
HDFS常用命令操作时
weixin_64272885的博客
11-23 8349
HDFS常用命令的实践操作
[Hadoop]输入路径过滤，通配符与PathFilter
SmartSi
12-21 1万+
1. 丢失文件路径过滤应用场景：我们想查询一个月以来度假的订单数据，但是HDFS中可能因为业务故障，导致某一天的订单数据不存在：FileInputFormat.setInputPaths(job, inputPath);上述代码在遇到路径不存在的时候会报错。所以在设置路径之前需要进行一次判断，判断这个路径在HDFS上是否存在，如果存在，使用addInputPath方法添加：FileSystem f
Hadoop进阶之输入路径如何正则通配？
三劫散仙
04-21 1692
在hadoop的编程中，如果你是手写MapReduce来处理一些数据，那么就避免不了输入输出参数路径的设定，hadoop里文件基类FileInputFormat提供了如下几种api来制定：    如上图，里面有  （1）addInputPath()，每次添加一个输入路径Path  （2）addInputPaths， 将多个路径以逗号分割的字符串，作为入参，支持多个路径  （3
大数据基础平台——HDFS文件系统
Hydrox_的博客
09-17 1627
了解与熟悉HDFS文件系统；掌握HDFS的常用操作。
HDFS文件操作
最新发布
03-15
### HDFS 文件操作教程 Hadoop分布式文件系统 (HDFS) 是一种高容错性的分布式存储解决方案，广泛应用于大数据处理场景。以下是关于 HDFS 文件读写的详细说明以及一些常见的代码示例。 #### 1. HDFS 写数据流程 当向 HDFS 中写入数据时，客户端会遵循一系列严格的步骤来完成这一过程： - 客户端调用 `create()` 方法请求创建新文件。 - NameNode 返回分配的 DataNodes 列表及其位置信息（基于机架感知策略）。 - 数据被分割成多个块并依次传输到指定的数据节点上[^1]。 下面是实现上传文件至 HDFS 的 Java 示例代码： ```java Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path src = new Path("/local/path/to/file"); Path dest = new Path("/hdfs/destination/path"); fs.copyFromLocalFile(src, dest); // 将本地文件复制到 HDFS 上 fs.close(); // 关闭连接 ``` #### 2. HDFS 读数据流程 从 HDFS 中读取数据的过程相对简单明了许多: - 应用程序通过 API 请求打开目标路径上的某个特定文件。 - Namenode 提供该文件元数据信息(包括其所有分片的位置)，随后由 Datanodes 处理实际 I/O 操作[^2]。 下面是一个用于从 HDFS 下载文件的例子: ```java Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); FSDataInputStream inputStream = null; OutputStream outputStream = null; try { Path hdfsFilePath = new Path("/path/in/hdfs"); File localDestination = new File("/local/dest/folder/"); inputStream = fs.open(hdfsFilePath); outputStream = new FileOutputStream(localDestination); IOUtils.copyBytes(inputStream, outputStream, conf); } finally { IOUtils.closeStream(outputStream); IOUtils.closeStream(inputStream); } ``` #### 3. 使用 CLI 工具管理 HDFS 文件 除了编程接口外,Hadoop 还提供了方便易用的命令行工具来进行基本的操作如查看目录结构、上传下载文件等[^5]: | 命令 | 描述 | |-------------------------|-----------------------------------| | hadoop fs -ls / | 显示根目录下的内容 | | hadoop fs -mkdir /mydir | 创建名为 mydir 的目录 | | hadoop fs -put localfile /user/hadoop/hadoopfile | 把本地文件放入 HDFS | --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值