java读取hdfs数据

最新推荐文章于 2024-07-25 16:52:43 发布

原创最新推荐文章于 2024-07-25 16:52:43 发布 · 2.2k 阅读

1 ·

CC 4.0 BY-SA版权

java 同时被 2 个专栏收录

7 篇文章

订阅专栏

hadoop

2 篇文章

订阅专栏

本文详细介绍了如何在Java程序中访问HDFS数据的过程。重点在于配置步骤，包括加载core-site.xml和hdfs-site.xml文件，并自行创建userDefine-site.xml文件以提供认证信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

想在一台搞了小半天，终于调通了，感觉有些地方和网上说的不太一样，mark一下。

目的：在java程序中访问hdfs数据，用作后续处理。

主要在配置，要加载hadoop下面的core-site.xml和hdfs-site.xml这两个文件，还要自己手动添加一个配置文件（因为在客户端访问需要秘钥）。

贴一下比较重要的部分的代码：

configuration.addResource(new FileInputStream("你自己的目录/core-site.xml"));
configuration.addResource(new FileInputStream("/你自己的目录/hdfs-site.xml"));
configuration.addResource(new FileInputStream("userDefine-site.xml"));

if (configuration.get("hadoop.security.authorization").equals("true")) {
    System.out.println("aaaa");
    UserGroupInformation.setConfiguration(configuration);
    UserGroupInformation.loginUserFromKeytab(configuration.get("login.kerberos.principal"), configuration.get("login.keytab.file"));
}

这个userDefine-site.xml是自己写的，里面主要提供了login.kerberos.principal和login.keytab.file

根据自己的情况定。