Hadoop 抽象文件系统实现远程HDFS文件操作

最新推荐文章于 2024-06-26 15:41:09 发布

原创最新推荐文章于 2024-06-26 15:41:09 发布 · 682 阅读

0 ·

CC 4.0 BY-SA版权

HDFS 专栏收录该内容

16 篇文章

订阅专栏

本文介绍了如何使用Hadoop的抽象文件系统接口FileSystem进行远程HDFS文件操作，包括上传、下载、文件遍历、状态检查、删除和创建文件夹等基本操作。通过Java的FileSystem类及配置，可以实现对HDFS的便捷访问。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hadoop有抽象的文件系统概念，HDFS只是其中的一个实现

Java抽象类FileSystem定义了Hadoop一个文件系统的客户端接口，具体实现中包含了HDFS文件系统

编程主要涉及org.apache.hadoop.fs.*

上传                void org.apache.hadoop.fs.FileSystem.copyFromLocalFile(Path src, Path dst)
下载                void org.apache.hadoop.fs.FileSystem.copyToLocalFile(Path src, Path dst)
文件遍历 RemoteIterator<LocatedFileStatus> org.apache.hadoop.fs.FileSystem.listFiles(Path f, boolean recursive)
文件状态 FileStatus[] org.apache.hadoop.fs.FileSystem.listStatus(Path f)
删除                boolean org.apache.hadoop.fs.FileSystem.delete(Path f, boolean recursive)
创建文件夹 boolean org.apache.hadoop.fs.FileSystem.mkdirs(Path f)

FileSystem:

/*
* java.net.URI.URI(String str)
* org.apache.hadoop.conf.Configuration.Configuration()
* FileSystem org.apache.hadoop.fs.FileSystem.get(URI uri, Configuration conf, String user)
*/
URI uri = new URI("hdfs://zlp01:9000/");
Configuration conf = new Configuration();
String user = "hadoop";

FileSystem fs = FileSystem.get(uri, conf, user);