URL方式访问Hadoop的内容

转载于 2014-03-11 18:07:00 发布 · 135 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/luguoyuanf/p/3594567.html

文章标签：

#大数据

本文介绍了一种使用Hadoop读取HDFS文件的方法，包括设置URL支持Hadoop、创建URL对象、获取输入流以及将内容输出到控制台的过程。

* 1、设置url支持hadoop，FsUrlStreamHandlerFactory
      * 2、创建URL对象，指定访问的HDFS路径
      * 3、openStream获取输入流对象，也就是读取的内容
      * 4、使用Hadoop的OIUtils工具类对输入流输出到控制台

public static void main(String[] args) throws Exception {
    //通过eclipse远程调用hadoop方式访问，传入一个参数也就是hdfs的路径

 String PATH = args[0];
    //设置URL支持Hadoop
    URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
    //创建URL对象
    URL url = new URL(PATH);
    //获取输入流
    InputStream in = url.openStream();
    //在控制台输出
    IOUtils.copyBytes(in, System.out, 1024, true);
    
}

转载于:https://www.cnblogs.com/luguoyuanf/p/3594567.html