如何解决Hadoop Connection Refused和FileNotFoundException问题

Bob Liu

于 2017-08-29 12:53:39 发布

阅读量1.6w

点赞数

分类专栏： Hadoop 文章标签： Hadoop Connection Refused FileNotFoundExceptio

本文链接：https://blog.youkuaiyun.com/jinguangliu/article/details/77674315

版权

本文介绍如何定位并解决在使用Hadoop时遇到的Connection Refused和FileNotFoundException问题，通过URLStreamHandler实例和hadoop fs -put命令进行演示。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

简介

本文以使用URLStreamHandler来将Hadoop文件系统中的文件显示的标准输出的例子，来讲解如何定位和解决Connection Refused和FileNotFoundException问题。本例子中使用的Hadoop 2.7.3版本。

URLCat实例

下面的例子是使用URLStreamHandler将Hadoop文件系统中的文件输出的标准输出中。

// cc URLCat Displays files from a Hadoop filesystem on standard output using a URLStreamHandler
import java.io.InputStream;
import java.net.URL;

import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;

// vv URLCat
public class URLCat {

  static {
    URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
  }

  public static void main(String[] args) throws Exception {
    InputStream in = null;
    try {
      in = new URL(args[0]).openStream();
      IOUtils.copyBytes(in, System.out, 4096, false);
    } finally {
      IOUtils.closeStream(in);
    }
  }
}

使用jar命令将URLCat打包到hadoop-example.jar文件中。