Java 连接HDFS，读取文件

最新推荐文章于 2024-09-27 22:18:42 发布
最新推荐文章于 2024-09-27 22:18:42 发布
阅读量688 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： java 大数据 python
原文链接：https://my.oschina.net/u/2462382/blog/600880
本文介绍如何使用Java API进行HDFS文件操作，包括获取文件连接、读取文件大小及内容、获取二进制数据和目录文件列表等实用方法，并提供核心配置文件示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

获取HDFS文件连接

public static FileSystem getFileSystem() {
    try {
        Configuration conf = new Configuration();
        //下面三行如果不加则自动读取项目路径下的配置文件
        conf.addResource(new Path("c://conf/core-site.xml");
        conf.addResource(new Path("c://conf/hdfs-site.xml");
	conf.addResource(new Path("c://conf/mapred-site.xml");

        fs = FileSystem.get(conf);
    } catch (IOException e) {
         e.printStackTrace();
    }
    return fs;
}

获取文件大小

 public static Long getFileLen(String hdfsPath) throws IOException {
    	return getFileSystem().getFileStatus(new Path(hdfsPath)).getLen();
    }

获取文件字符串

 public static String readStringFromHdfsNoPage(String Path, int  pageNum, int readSize ) throws IllegalArgumentException, IOException {
        FSDataInputStream in = HDFSUtil.getFileSystem().open(new Path(Path));
        BufferedReader reader = new BufferedReader(new InputStreamReader(in));
        StringBuffer buffer = new StringBuffer();
        String line = "";
        while ((line = in.readLine()) != null){
          buffer.append(line);
        }
        reader.close();
        in.close();
        return buffer.toString();
    }

获取文件二进制数据

public static byte[] readByteFromHdfs(String path, int  pageNum, int readSize ) throws IllegalArgumentException, IOException {
    	FSDataInputStream in = HDFSUtil.getFileSystem().open(new Path(path));
    	FileStatus stat = HDFSUtil.getFileSystem().getFileStatus(new Path(path));  
        byte[] buffer = new byte[Integer.parseInt(String.valueOf(stat.getLen()))];  
        in.readFully(0, buffer);  
        in.close();  
        return buffer;
    }


获取目录下文件列表

 public static List<String> ListDir(String srcPath) throws Exception
    {
    	List<String> fileNameList = new ArrayList<String>();
        FileStatus[] srcFileStatus = getFileSystem().listStatus(new Path(srcPath));
        Path[] srcFilePath = FileUtil.stat2Paths(srcFileStatus);
        for (int i = 0; i < srcFilePath.length; i++)
        {
            String srcFile = srcFilePath[i].toString();
            int fileNamePosi = srcFile.lastIndexOf('/');
            String fileName = srcFile.substring(fileNamePosi + 1);
            fileNameList.add(fileName);
        }
        return fileNameList;
    }


配置文件

‍m103替换为hdfs服务地址‍

‍core-site.xml

<?xml version="1.0" encoding="UTF-8"?>

<!--Autogenerated by Cloudera Manager-->
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://m103:8020</value>
  </property>
  <property>
    <name>fs.trash.interval</name>
    <value>1</value>
  </property>
  <property>
    <name>io.compression.codecs</name>
    <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.DeflateCodec,org.apache.hadoop.io.compress.SnappyCodec,org.apache.hadoop.io.compress.Lz4Codec</value>
  </property>
  <property>
    <name>hadoop.security.authentication</name>
    <value>simple</value>
  </property>
  <property>
    <name>hadoop.security.authorization</name>
    <value>false</value>
  </property>
  <property>
    <name>hadoop.rpc.protection</name>
    <value>authentication</value>
  </property>
  <property>
    <name>hadoop.security.auth_to_local</name>
    <value>DEFAULT</value>
  </property>
  <property>
    <name>hadoop.proxyuser.oozie.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.oozie.groups</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.mapred.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.mapred.groups</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.flume.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.flume.groups</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.HTTP.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.HTTP.groups</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.hive.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.hive.groups</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.hue.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.hue.groups</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.httpfs.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.httpfs.groups</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.hdfs.groups</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.hdfs.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.yarn.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.yarn.groups</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.security.group.mapping</name>
    <value>org.apache.hadoop.security.ShellBasedUnixGroupsMapping</value>
  </property>
  <property>
    <name>hadoop.security.instrumentation.requires.admin</name>
    <value>false</value>
  </property>
  <property>
    <name>net.topology.script.file.name</name>
    <value>/etc/hadoop/conf.cloudera.yarn/topology.py</value>
  </property>
  <property>
    <name>io.file.buffer.size</name>
    <value>65536</value>
  </property>
  <property>
    <name>hadoop.ssl.enabled</name>
    <value>false</value>
  </property>
  <property>
    <name>hadoop.ssl.require.client.cert</name>
    <value>false</value>
    <final>true</final>
  </property>
  <property>
    <name>hadoop.ssl.keystores.factory.class</name>
    <value>org.apache.hadoop.security.ssl.FileBasedKeyStoresFactory</value>
    <final>true</final>
  </property>
  <property>
    <name>hadoop.ssl.server.conf</name>
    <value>ssl-server.xml</value>
    <final>true</final>
  </property>
  <property>
    <name>hadoop.ssl.client.conf</name>
    <value>ssl-client.xml</value>
    <final>true</final>
  </property>
</configuration>


hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>

<!--Autogenerated by Cloudera Manager-->
<configuration>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///mnt/sdc1/dfs/nn</value>
  </property>
  <property>
    <name>dfs.namenode.servicerpc-address</name>
    <value>m103:8022</value>
  </property>
  <property>
    <name>dfs.https.address</name>
    <value>m103:50470</value>
  </property>
  <property>
    <name>dfs.https.port</name>
    <value>50470</value>
  </property>
  <property>
    <name>dfs.namenode.http-address</name>
    <value>m103:50070</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.blocksize</name>
    <value>134217728</value>
  </property>
  <property>
    <name>dfs.client.use.datanode.hostname</name>
    <value>false</value>
  </property>
  <property>
    <name>fs.permissions.umask-mode</name>
    <value>022</value>
  </property>
  <property>
    <name>dfs.namenode.acls.enabled</name>
    <value>false</value>
  </property>
  <property>
    <name>dfs.block.local-path-access.user</name>
    <value>cloudera-scm</value>
  </property>
  <property>
    <name>dfs.client.read.shortcircuit</name>
    <value>false</value>
  </property>
  <property>
    <name>dfs.domain.socket.path</name>
    <value>/var/run/hdfs-sockets/dn</value>
  </property>
  <property>
    <name>dfs.client.read.shortcircuit.skip.checksum</name>
    <value>false</value>
  </property>
  <property>
    <name>dfs.client.domain.socket.data.traffic</name>
    <value>false</value>
  </property>
  <property>
    <name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
    <value>true</value>
  </property>
  <property>
    <name>fs.http.impl</name>
    <value>com.scistor.datavision.fs.HTTPFileSystem</value>
  </property>
</configuration>


mapred-site.xml‍

<?xml version="1.0" encoding="UTF-8"?>

<!--Autogenerated by Cloudera Manager-->
<configuration>
  <property>
    <name>mapreduce.job.split.metainfo.maxsize</name>
    <value>10000000</value>
  </property>
  <property>
    <name>mapreduce.job.counters.max</name>
    <value>120</value>
  </property>
  <property>
    <name>mapreduce.output.fileoutputformat.compress</name>
    <value>true</value>
  </property>
  <property>
    <name>mapreduce.output.fileoutputformat.compress.type</name>
    <value>BLOCK</value>
  </property>
  <property>
    <name>mapreduce.output.fileoutputformat.compress.codec</name>
    <value>org.apache.hadoop.io.compress.SnappyCodec</value>
  </property>
  <property>
    <name>mapreduce.map.output.compress.codec</name>
    <value>org.apache.hadoop.io.compress.SnappyCodec</value>
  </property>
  <property>
    <name>mapreduce.map.output.compress</name>
    <value>true</value>
  </property>
  <property>
    <name>zlib.compress.level</name>
    <value>DEFAULT_COMPRESSION</value>
  </property>
  <property>
    <name>mapreduce.task.io.sort.factor</name>
    <value>64</value>
  </property>
  <property>
    <name>mapreduce.map.sort.spill.percent</name>
    <value>0.8</value>
  </property>
  <property>
    <name>mapreduce.reduce.shuffle.parallelcopies</name>
    <value>10</value>
  </property>
  <property>
    <name>mapreduce.task.timeout</name>
    <value>600000</value>
  </property>
  <property>
    <name>mapreduce.client.submit.file.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>mapreduce.job.reduces</name>
    <value>24</value>
  </property>
  <property>
    <name>mapreduce.task.io.sort.mb</name>
    <value>256</value>
  </property>
  <property>
    <name>mapreduce.map.speculative</name>
    <value>false</value>
  </property>
  <property>
    <name>mapreduce.reduce.speculative</name>
    <value>false</value>
  </property>
  <property>
    <name>mapreduce.job.reduce.slowstart.completedmaps</name>
    <value>0.8</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>m103:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>m103:19888</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.https.address</name>
    <value>m103:19890</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.admin.address</name>
    <value>m103:10033</value>
  </property>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>yarn.app.mapreduce.am.staging-dir</name>
    <value>/user</value>
  </property>
  <property>
    <name>mapreduce.am.max-attempts</name>
    <value>2</value>
  </property>
  <property>
    <name>yarn.app.mapreduce.am.resource.mb</name>
    <value>2048</value>
  </property>
  <property>
    <name>yarn.app.mapreduce.am.resource.cpu-vcores</name>
    <value>1</value>
  </property>
  <property>
    <name>mapreduce.job.ubertask.enable</name>
    <value>false</value>
  </property>
  <property>
    <name>yarn.app.mapreduce.am.command-opts</name>
    <value>-Djava.net.preferIPv4Stack=true -Xmx1717986918</value>
  </property>
  <property>
    <name>mapreduce.map.java.opts</name>
    <value>-Djava.net.preferIPv4Stack=true -Xmx1717986918</value>
  </property>
  <property>
    <name>mapreduce.reduce.java.opts</name>
    <value>-Djava.net.preferIPv4Stack=true -Xmx2576980378</value>
  </property>
  <property>
    <name>yarn.app.mapreduce.am.admin.user.env</name>
    <value>LD_LIBRARY_PATH=$HADOOP_COMMON_HOME/lib/native:$JAVA_LIBRARY_PATH</value>
  </property>
  <property>
    <name>mapreduce.map.memory.mb</name>
    <value>2048</value>
  </property>
  <property>
    <name>mapreduce.map.cpu.vcores</name>
    <value>1</value>
  </property>
  <property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>3072</value>
  </property>
  <property>
    <name>mapreduce.reduce.cpu.vcores</name>
    <value>1</value>
  </property>
  <property>
    <name>mapreduce.application.classpath</name>
    <value>$HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,$MR2_CLASSPATH,$CDH_HCAT_HOME/share/hcatalog/*,$CDH_HIVE_HOME/lib/*,/etc/hive/conf,/opt/cloudera/parcels/CDH/lib/udps/*</value>
  </property>
  <property>
    <name>mapreduce.admin.user.env</name>
    <value>LD_LIBRARY_PATH=$HADOOP_COMMON_HOME/lib/native:$JAVA_LIBRARY_PATH</value>
  </property>
  <property>
    <name>mapreduce.shuffle.max.connections</name>
    <value>80</value>
  </property>
</configuration>


转载于:https://my.oschina.net/u/2462382/blog/600880

java代码实现hadoop的HDFS连接操作-编写API
m0_62642719的博客
05-23 2584
步骤一：在虚拟机上安装好hadoop并启动，在本地Windows配置好本地hadoop插件。（篇幅过长略可自行查询有关操作）。 步骤二：启动IDEA新建Maven工程。配置pom.xml文件（导入相关依赖）具体如下： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XM
java api连接HDFS文件服务器
ssyws1的博客
04-24 1158
问题： 在使用java程序连接hdfs时，将程序部署在linux下，linux系统中没有相应的环境变量和配置，导致无法正常连接到hdfs文件系统 解决方式： 将hdfs的配置文件放入java工程的resource中， core-site.xml和hdfs-site.xml 通过读取resources中下的文件，可以直接将配置文件加载到主类中。 读取resources中的文件jav...
java连接hdfs（hdfs的API）
weixin_50691399的博客
12-15 1776
本文主要是hdfs的API，然后进行简单的进行举例说明怎么用。
java连接HDFS
qq_67460132的博客
11-20 2108
HDFS连接java
使用java代码连接HDFS
balalaxstar的博客
03-29 834
前提是输入localhost:50070可以正常进入网页 Configuration conf=new Configuration(); try { FileSystem fs= FileSystem.get(new URI("hdfs://192.168.175.100:9000"),conf,"root"); //创建文件夹 fs.mkdirs(new Path("/testHDFS/java/hello")); //上传文件 .
Java---实现连接HDFS
shall潇の菜园
03-19 1496
Java—实现连接HDFS 【前提：开启hadoop】 public class TestHDFS { public static void main(String[] args) { //1.创建Configuration Configuration conf = new Configuration(); try { //2.创建FS->分布式文件系统(URI:IP：9000,configuration,用户名)
java读取hdfs ha_java连接hdfs ha和调用mapreduce jar示例
weixin_42504619的博客
02-16 283
Java API 连接 HDFS HApublic static void main(String[] args) {Configuration conf = new Configuration();conf.set("fs.defaultFS", "hdfs://hadoop2cluster");conf.set("dfs.nameservices", "hadoop2cluster");con...
java 连接hdfs_JAVA API连接HDFS HA的几种方式
weixin_31734677的博客
02-13 1445
hadoop版本：2.7.3使用场景：线上服务写hdfs，写过程中namenode的master节点发生HA切换，为保证写服务不因为连接中断而终止，需要在客户端以nameservices 的方式初始化 FileSystem方式一 ：代码里添加配置项# conf.set("key", "value"); key保持不变，value值去core-site.xml 、hdfs-site.xml文件里找C...
Java API操作HDFS写入，读取，重命名，显示文件列表等
qq_65274143的博客
12-01 6905
Java API操作HDFS写入，读取，重命名，显示文件列表等
java hdfs kerberos_使用Kerberos安全读取HDFS文件
weixin_36368404的博客
02-13 338
使用指南导入依赖包compilegroup:'org.apache.hadoop',name:'hadoop-hdfs',version:'2.7.6'compilegroup:'org.apache.hadoop',name:'hadoop-common',version:'2.7.6'krb5.conf 文件(从KDC服务器上复制下来)[libdefaults]rene...
java对大数据HDFS文件操作
04-04
java对大数据HDFS文件操作jar包和maven2个项目,有jar包,有依赖,2个项目呦
使用java api连接HDFS
xichengxml的博客
01-27 567
Hadoop版本：2.7.1 pom依赖如下： &lt;dependency&gt; &lt;groupId&gt;org.apache.hadoop&lt;/groupId&gt; &lt;artifactId&gt;hadoop-common&lt;/artifactId&gt; &lt;version&gt;2.7.5&lt;/version&gt; &lt;/dependen
JAVA连接HDFS操作
ning的博客
09-27 1301
通过以上步骤，我们可以使用Java轻松地连接和操作HDFS。掌握这些基本操作对于在Hadoop环境中进行数据存储和处理是非常重要的。希望本文能帮助你在实际项目中更好地应用HDFS。版权声明：本博客内容为原创，转载请保留原文链接及作者信息。参考文章Hadoop——HDFS文件系统的Java API操作（上传、下载、查看、删除、创建文件）详细教学hadoop学习案例——使用Java API操作HDFS。
JAVA连接hdfs 操作
weixin_43955659的博客
03-19 2215
JAVA连接hdfs 操作 //完整的一个连接hdfs 和操作步骤 @Test public void test06() throws URISyntaxException, IOException, InterruptedException { //创建连接 //获取主节点 URI uri = new URI("hdfs://hadoop100:9000"); Configuration entries = new Conf
java 操作hdfs(连接HDFS)
weixin_30388677的博客
03-21 603
FileSystem fs = null; Configuration conf = null; @Before public void init() throws Exception{ conf = new Configuration(); // fs=FileSystem.get(co...
HDFS 连接用JAVA操作
weixin_45383965的博客
10-12 267
java操作HDFS (获取文件系统，创建目录等)
qq_43034494的博客
05-28 1753
<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.6.0</version> <excl...
idea上java项目连接hdfs
qq_41642791的博客
06-08 2350
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代.
使用java访问HDFS
Pythonwudud的博客
12-17 1560
在resources目录里创建log4j.properties文件。命令重复执行，不会失败，只是不断改变该文件的时间戳。文件，有点类似于Hadoop Shell里执行。创建Maven项目 - HDFSDemo。在Hadoop WebUI界面查看。利用Hadoop WebUI查看。已经存在，此时会提示用户创建失败。在HDFS Shell里利用。目录里确实创建了一个0字节的。命令的效果，但是有一点不同，单击【Create】按钮。（Maven仓库）-命令可以创建时间戳文件。
Java Flink读取hdfs文件
最新发布
03-28
如果需要通过 Java 编写的 Flink 程序从 HDFS 文件系统读取文件内容并进行计算操作，通常可以按照以下步骤完成： ### 步骤1：引入必要的依赖项 首先，在项目的 `pom.xml` 文件中添加对 Apache Flink 和 Hadoop 的 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值