java读取HDFS压缩文件乱码

最新推荐文章于 2021-06-07 20:09:27 发布

转载最新推荐文章于 2021-06-07 20:09:27 发布 · 316 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/yanghaolie/p/7085835.html

文章标签：

#java #大数据

本文介绍了解决Java直接读取HDFS压缩文件出现乱码的问题，提供了两种解决方案：一是通过API解码并处理；二是下载解压处理。推荐使用第一种方案，并附带介绍了MR作业中使用压缩提升效率的方法。

java通过调用HDFS系统的FileSystem等API 直接读取HDFS的压缩文件会产生乱码

解决方法：

1.调用解码的API，解码后通过IO流处理。

public static void main(String[] args) throws IOException {　　　　　
　　　　　Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(conf);
        boolean tag=fs.exists(new Path(args[0]));
        String ftag=tag?"exist":"not exist";
        logger.info("===>the HDFS File :"+ args[0] +"is "+ftag);
        InputStream in=fs.open(new Path(args[0]));
        
　　　　//核心转换部分
        CompressionCodecFactory factory = new CompressionCodecFactory(conf);  
        CompressionCodec codec = factory.getCodec(new Path(args[0])); 
        CompressionInputStream compin=codec.createInputStream(in);
        BufferedReader br= new BufferedReader(new InputStreamReader(compin));
         
        String line="";
        while((line=br.readLine())!=null){
           //TODO
        }
        //TODO 关闭流
}