Hadoop Lzo

在Hadoop MapReduce程序处理LZO压缩文件时,遇到解压缩错误。问题根源在于LzoBufferSize配置过小,通过增大该值能有效解决此问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

解压

在hadoop mapreduce程序中使用如下代码解压lzo文件:

LzopDecompressor lzoDec= new LzopDecompressor(lzoBufferSize);
InputStream is = new FileInputStream("xxx");
if (is != null) {
    LzopInputStream lzoIs = new LzopInputStream(is,lzoDec, lzoBufferSize);
    BufferedReader reader = new BufferedReader(new InputStreamReader(lzoIs));
    String line = null;
    while ((line = reader.readLine()) != null) {
        // to do
        context.progress();
    }
    reader.close();
    lzoIs.close();
    is.close();
}

出现了如下的错误:

org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.InternalError: lzo1x_decompress_safe returned: -5
    at com.hadoop.compression.lzo.LzoDecompressor.decompressBytesDirect(Native Method)
    at com.hadoop.compression.lzo.LzoDecompressor.decompress(LzoDecompressor.java:309)
    at com.hadoop.compression.lzo.LzopDecompressor.decompress(LzopDecompressor.java:122)
    at com.hadoop.compression.lzo.LzopInputStream.decompress(LzopInputStream.java:247)
    at org.apache.hadoop.io.compress.DecompressorStream.read(DecompressorStream.java:85)

这个主要是lzoBufferSize值设置过小导致的,将值设置大一点就可解决。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值