eclipse中访问hdfs时候问题总结（hadoop-2.7.1）

最新推荐文章于 2023-03-03 16:32:01 发布

淡然之静美

最新推荐文章于 2023-03-03 16:32:01 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏： java

本文链接：https://blog.youkuaiyun.com/u010506130/article/details/50917526

java 专栏收录该内容

7 篇文章

订阅专栏

本文提供了一个Java示例程序，演示如何从Hadoop HDFS中读取文件并输出到标准输出。程序使用了Hadoop的核心API，并指出了所需JAR包及配置文件的位置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

以以下代码为例：

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.io.IOUtils;

public class ReadHdfsData {

	public static void read_output(String name){
		try{
			FileSystem fs=FileSystem.get(new Configuration());
			FSDataInputStream fsdata=fs.open(new Path(name));
			IOUtils.copyBytes(fsdata, System.out, 4096, false);
			IOUtils.closeStream(fsdata);
		}catch(IOException e){
		  e.printStackTrace();
		}
	}
	
	public static void main(String[] args) {
		// TODO Auto-generated method stub
       ReadHdfsData.read_output("hdfs://localhost/user/cj/output/part-r-00000");
	}
}

一定要导入hadoop-2.7.1/share/hadoop/common/目录下hadoop-common-2.7.1.jar, 以及/usr/local/hadoop-2.7.1/share/hadoop/hdfs/目录下hadoop-hdfs-2.7.1.jar
core-site.xml 与hdfs-site.xml一定要放入java项目的bin 目录下