java远程连接hadoop依赖、配置、常用写法

关注

原创最新推荐文章于 2026-07-20 08:58:04 发布 2.9k 阅读 AI 写同款· GEO 优化 ›

IntelliJ IDEA搭建Hadoop开发环境（下） HadoopIntellijPlugin 插件还没安装好的可以参考这篇文章，IntelliJ IDEA搭建Hadoop开发环境（上），安装好插件后，下一步就是导入 hadoop 的依赖包，这些包可以在 hadoop 的 share/hadoop 目录下找到，这里以经典的 WordCount 程序来进行演示 1、新建 maven 项目输入 GroupId 和 ArtifactId，然后 Next... 阅读详情

笔者使用的hadoop版本3.0.3，以下是maven依赖，曾把hadoop-client写成hadoop-client-api，一直报NoClassDefFoundError InputBootstrapper类，所以贴一下maven依赖

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>3.0.3</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>3.0.3</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.0.3</version>
        </dependency>

代码也非常简单

String HDFS_PATH = "hdfs://192.168.1.132:9000"; //要连接的hadoop
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS", HDFS_PATH);
//连接文件系统,FileSystem用来与hadoop文件系统交互
FileSystem fileSystem = FileSystem.get(configuration);

configuration.set("fs.hdfs.impl", DistributedFileSystem.class.getName());  //设置处理分布式文件系统
URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory(configuration));
//FsUrlStreamHandlerFactory()  不加参数连接会无法识别的hdfs协议,原因是hadoop在获取处理hdfs协议的控制器时获取了configuration的fs.hdfs.impl值

//获取Hadoop文件，并打印输出
InputStream inputStream = new URL(HDFS_PATH + "/hello.txt").openStream();
int size = inputStream.available();

for (int i = 0; i < size; i++){
    System.out.print((char)inputStream.read());
}
inputStream.close();

常用写法：

参考链接：hadoop的hdfs中的javaAPI操作

收录于