eclipse中连接HDFS,上传本地文件夹

最新推荐文章于 2025-05-13 08:44:33 发布

kan_fearless

最新推荐文章于 2025-05-13 08:44:33 发布

阅读量2.4k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Linux hadoop HDFS 文章标签： HDFS 上传本地文件到HDFS Ubuntu Linux eclipse上传文件到HDFS

本文链接：https://blog.youkuaiyun.com/kan_fearless/article/details/79712645

这篇博客介绍了如何在Eclipse环境下，利用Hadoop API连接到运行在Ubuntu上的HDFS，并实现从本地文件夹批量上传所有.txt文件到HDFS的详细步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

连接HDFS的步骤

 
  //    准备连接HDFS的操作支持类 
 
  Configuration conf = new Configuration(); 
 
  //    所要写入的路径，path要用于创建文件系统和创建连接hadoop的create路径 
 
  Path path = new Path("hdfs://192.168.43.134:9000/input"); 
 
  //    创建文件系统对象 
 
  FileSystem fs = path.getFileSystem(conf); 
 
  //    通过文件系统来创建一个IO流，输出到hadoop中 
 
  FSDataOutputStream os = fs.create(path);

将本地文件夹中所有“.txt“文件上传到hadoop中

 
  package com.szk.practice; 
 
  import java.io.BufferedReader; 
 
  import java.io.File; 
 
  import java.io.FileReader; 
 
  import org.apache.hadoop.conf.Configuration; 
 
  import org.apache.hadoop.fs.FSDataOutputStream; 
 
  import org.apache.hadoop.fs.FileSystem; 
 
  import org.apache.hadoop.fs.Path;