Hadoop URL数据读取操作

最新推荐文章于 2022-07-19 16:05:38 发布

原创

最新推荐文章于 2022-07-19 16:05:38 发布 · 1.1k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #url #文件系统

本文介绍了如何使用Hadoop从文件系统中读取URL数据，包括通过命令行和Java接口的方式。在实践过程中遇到类路径错误，解决方法是调整源文件的存放位置，确保它们在正确的包内。此外，还提到了运行时出现的远程连接错误，推测可能由Eclipse与Hadoop的配置不匹配导致。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop可以从命令行上使用hadoop fs [command]来读取文件系统中的文件。同时也可以使用java接口来实现这些功能。

刚写好了一个权威指南上的例子，附上代码：

package baseOperation;

import java.io.InputStream;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;

public class FileSystemCat {

	public static void main(String[] args) throws Exception{
		String uri = "hdfs://localhost/user/root/Esther/pome";
		Configuration conf = new Configuration();
		FileSystem fs = FileSystem.get(URI.create(uri),conf);
		InputStream in = null;
		try{
			in = fs.open(new Path(uri));
			IOUtils.copyBytes(in,System.out,4096,false);
		}finally{
			IOUtils.closeStream(in);
		}

	}

}

在导入hadoop 的conf文件、一些jar包信息之后，编译出错：

Could not find or load main class baseOperation.FileSystemC

最低0.47元/天解锁文章

200万优质内容无限畅学