(三)HDFS文件操作

Hadoop使用的是HDFS,实现的功能和我们使用的磁盘系统类似,支持通配符。
1、查看文件列表
查看hdfs中/目录下的所有文件的详细信息。
hadoop fs -ls /
递归的查看hdfs中/目录下所有文件(包括子目录下文件)
hadoop fs -lsr /
2、创建文件目录
在/目录下新建一个newDIr的新目录
hadoop fs -mkdir /newDir
3、删除文件
删除/目录下名叫hello的文件
hadoop fs -rm /hello
删除/目录下newDir目录和其中所有文件
hadoop fs -rmr /newDir
4、上传文件
上传一个Localhost/root/myCode/testFile目录下的hello11到HDFS文件系统的/目录下
hadoop fs -put /root/myCode/testFile/hello11 /
5、下载文件
下载一个HDFS文件系统的/目录下的hello11到Localhost/root/myCode/testFile目录下
hadoop fs -get /hello11 /root/myCode/testFile
6、查看文件内容
查看HDFS中/hello文件内容
hadoop fs -cat /hello

### HDFS 文件操作教程 Hadoop分布式文件系统 (HDFS) 是一种高容错性的分布式存储解决方案,广泛应用于大数据处理场景。以下是关于 HDFS 文件读写的详细说明以及一些常见的代码示例。 #### 1. HDFS 写数据流程 当向 HDFS 中写入数据时,客户端会遵循一系列严格的步骤来完成这一过程: - 客户端调用 `create()` 方法请求创建新文件。 - NameNode 返回分配的 DataNodes 列表及其位置信息(基于机架感知策略)。 - 数据被分割成多个块并依次传输到指定的数据节点上[^1]。 下面是实现上传文件至 HDFS 的 Java 示例代码: ```java Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path src = new Path("/local/path/to/file"); Path dest = new Path("/hdfs/destination/path"); fs.copyFromLocalFile(src, dest); // 将本地文件复制到 HDFS 上 fs.close(); // 关闭连接 ``` #### 2. HDFS 读数据流程 从 HDFS 中读取数据的过程相对简单明了许多: - 应用程序通过 API 请求打开目标路径上的某个特定文件。 - Namenode 提供该文件元数据信息(包括其所有分片的位置),随后由 Datanodes 处理实际 I/O 操作[^2]。 下面是一个用于从 HDFS 下载文件的例子: ```java Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); FSDataInputStream inputStream = null; OutputStream outputStream = null; try { Path hdfsFilePath = new Path("/path/in/hdfs"); File localDestination = new File("/local/dest/folder/"); inputStream = fs.open(hdfsFilePath); outputStream = new FileOutputStream(localDestination); IOUtils.copyBytes(inputStream, outputStream, conf); } finally { IOUtils.closeStream(outputStream); IOUtils.closeStream(inputStream); } ``` #### 3. 使用 CLI 工具管理 HDFS 文件 除了编程接口外,Hadoop 还提供了方便易用的命令行工具来进行基本的操作如查看目录结构、上传下载文件等[^5]: | 命令 | 描述 | |-------------------------|-----------------------------------| | hadoop fs -ls / | 显示根目录下的内容 | | hadoop fs -mkdir /mydir | 创建名为 mydir 的目录 | | hadoop fs -put localfile /user/hadoop/hadoopfile | 把本地文件放入 HDFS | --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值