HADOOP学习6

最新推荐文章于 2019-09-23 17:13:22 发布

原创最新推荐文章于 2019-09-23 17:13:22 发布 · 301 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

hadoop 专栏收录该内容

13 篇文章

订阅专栏

本文档介绍了在Java程序中遇到访问HDFS文件时出现的`java.net.MalformedURLException: unknown protocol: hdfs`问题。核心问题在于URL类默认不支持`hdfs`协议，解决方案是在代码中进行特殊处理。然而，同一Java虚拟机内多次调用此方法会导致错误。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

java简单的访问HDFS文件

InputStream in = null;
        try{
            byte[] bytes = new byte[1024];
            in = new URL("这里写hdfs文件的路径").openStream();

            while(in.read(bytes) > 0){
                System.out.println(new String(bytes));
            }

        }finally{
            IOUtils.closeStream(in);
        }

运行程序后发现报java.net.MalformedURLException: unknown protocol: hdfs

这里注意的一点是URL本身是不支持hdfs协议的，必须在代码前加上

URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory())

但是该方法在一个java虚拟机中只可以调用一次，否则报错误，错误信息为：

factory already defined