hadoopHDFS的java访问接口

原创于 2022-05-01 20:10:00 发布 · 311 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#java #hadoop

本文介绍了如何利用Java API连接Hadoop的HDFS，包括建立连接、创建文件夹、上传文件和删除文件等操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

连接hdfs

import com.sun.scenario.effect.impl.sw.sse.SSEBlend_SRC_OUTPeer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.Before;
import org.junit.Test; 
import java.io.*;
import java.net.URI;
import java.net.URISyntaxException;
 
public class java_hdfs {
    //自定义文件系统，类变量
    FileSystem fs=null;
    //预处理，@Test之前
    @Before
    public void inint() throws URISyntaxException, IOException, InterruptedException {
        fs=FileSystem.get(new URI("hdfs://192.168.18.129:9000"),new Configuration(),"root");
 
    }
}

测试

 
import com.sun.scenario.effect.impl.sw.sse.SSEBlend_SRC_OUTPeer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.Before;
import org.junit.Test; 
import java.io.*;
import java.net.URI;
import java.net.URISyntaxException;
 
public class java_hdfs {
    //自定义文件系统，类变量
    FileSystem fs=null;
    //预处理，@Test之前
    @Before
    public void inint() throws URISyntaxException, IOException, InterruptedException {
        fs=FileSystem.get(new URI("hdfs://192.168.18.129:9000"),new Configuration(),"root");
 
    }
    @Test
    public void printFS(){
        System.out.println(fs);
    }
}

创建文件夹

 
 @Test
    public void test() throws IOException {
        //创建文件夹
        final String pathString = "/d1";
        boolean exists = fs.exists(new Path(pathString));
        if(!exists){
            boolean result = fs.mkdirs(new Path(pathString));
            System.out.println(result);
        }
    }

上传文件

 
@Test
    public void test2() throws IOException {
        //上传文件
        InputStream in = new FileInputStream("/root/install.log");
        OutputStream out = fs.create(new Path("/log123.log"));
        IOUtils.copyBytes(in, out, 1024, true);
    }

删除文件

 
 @Test
    public void test3() throws IOException {
        //删除文件
        boolean flag = fs.delete(new Path("/d1"), true);
        System.out.println(flag);
    }