hadoop2.2.0、HDFS的java访问接口

Baldy_qiang

于 2022-05-02 08:47:57 发布

阅读量219

点赞数

CC 4.0 BY-SA版权

文章标签： hdfs java hadoop

本文链接：https://blog.youkuaiyun.com/Baldy_qiang/article/details/124536470

本文介绍了如何在Windows Eclipse环境中通过Java编程访问远程Linux服务器上的HDFS，涉及网络配置、Java版本一致性、权限设置以及代码示例，重点在于开发过程中的关键步骤和注意事项。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

4.5.1.搭建 Hadoop 开发环境我们在工作中写完的各种代码是在服务器中运行的，HDFS 的操作代码也不例外。在开

发阶段，我们使用 windows 下的 eclipse 作为开发环境，访问运行在虚拟机中的 HDFS。也就是通过在本地的 eclipse 中的 java 代码访问远程 linux 中的 hdfs。

要使用宿主机中的 java 代码访问客户机中的 hdfs，需要保证以下几点：

确保宿主机与客户机的网络是互通的
确保宿主机和客户机的防火墙都关闭，因为很多端口需要通过，为了减少防火墙配置，
直接关闭

确保宿主机与客户机使用的 jdk 版本一致。如果客户机使用 jdk6，宿主机使用 jdk7，那
么代码运行时会报不支持的版本的错误

宿主机的登录用户名必须与客户机的用户名一直。比如我们 linux 使用的是 root 用户，
那么 windows 也要使用 root 用户，否则会报权限异常

导入项目--引用lib

连接hdfs


import com.sun.scenario.effect.impl.sw.sse.SSEBlend_SRC_OUTPeer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.Before;
import org.junit.Test;
 
import java.io.*;
import java.net.URI;
import java.net.URISyntaxException;
 
public class java_hdfs {
    //自定义文件系统，类变量
    FileSystem fs=null;
    //预处理，@Test之前
    @Before
    public void inint() throws URISyntaxException, IOException, InterruptedException {
        fs=FileSystem.get(new URI("hdfs://192.168.18.129:9000"),new Configuration(),"root");
 
    }
}