Hadoop之HDFS客户端------java实现

最新推荐文章于 2025-02-22 20:59:27 发布

Star-Technology

最新推荐文章于 2025-02-22 20:59:27 发布

阅读量1.1k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Big Data 文章标签： hadoop java hdfs client

本文链接：https://blog.youkuaiyun.com/ymf827311945/article/details/71747576

Big Data 专栏收录该内容

140 篇文章

订阅专栏

本文介绍了如何使用Java进行HDFS的基本操作，包括配置加载、创建目录、上传文件、列出路径下的文件、合并小文件及关闭连接等核心功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.HDFS—-java代码加载配置

public void setup() throws Exception{
        config = new Configuration();
        fs = FileSystem.get(config);
    }

2.HDFS——java实现在HDFS上创建文件夹

public void mkdir() throws Exception{
        Path dir = new Path("/usr/ymf1");
        fs.mkdirs(dir);
    }

3.HDFS——Java实现上传文件到HDFS

public void upload() throws Exception{
        Path file = new Path("/usr/ymf/yyy/hdfs.zip");
        FSDataOutputStream out = fs.create(file, true, 102400);//文件数据输出流——创建、设置缓冲带的大小
        String path = "E:\\Programming\\eclipse\\project\\hdfs.zip";
        IOUtils.copyBytes(new FileInputStream(new File(path)), out, config);//使用文件输入流，对字节进行复制
    }

4.HDFS——java实现列出HDFS路径下的文件

public void list() throws Exception{
        Path dir = new Path("/usr/zs");
        FileStatus[] fss = fs.listStatus(dir);
        for(int i=0; i<fss.length; i++){
            FileStatus file = fss[i];
            System.out.println(file.getPath());
            System.out.println(file.getLen());
            System.out.println(file.getModificationTime());
        }

5.HDFS——java实现合并HDFS上的小文件

public void seq() throws Exception{
        Path file = new Path("/usr/ymf/test.seq");
        //连续的写入文件，然后创建写者
        SequenceFile.Writer seq = SequenceFile.createWriter(fs, config, file, Text.class, Text.class, CompressionType.NONE);
        File dir = new File("E:/data/"); //文件所在本地地址
        for(File f : dir.listFiles()){
            seq.append(new Text(f.getName()), new Text(FileUtils.readFileToString(f, "UTF-8")));//读取文件转换成字符串格式
                //追加                                    文件系统        
        }

6.HDFS——java实现关闭连接

public void after() throws Exception{
        fs.close();
    }

7.HDFS——Java定义HDFS的配置

    FileSystem fs = null;
    Configuration config = null;

8.将自己搭建的HDFS路径下的share下面hadoop下lib的jar包全部导入，然后导入自己搭建的HDFS的core.xml以及hdfs.xml文件，最后使用JUnit的jar包进行测试