这是解压过程的代码
import java.io.*;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.compress.*;
public class TestDecompression {
public static void main(String[] args) throws FileNotFoundException, IOException {
String file = "/home/hadoop/zlib.tar.gz";
Configuration conf = new Configuration();
CompressionCodecFactory codecFactory = new CompressionCodecFactory(conf);
CompressionCodec codec = codecFactory.getCodec(new Path(file));
CompressionInputStream in = codec.createInputStream(new FileInputStream(new File(file)));
FileOutputStream out = new FileOutputStream(new File(codecFactory.removeSuffix(file, codec.getDefaultExtension())));
IOUtils.copyBytes(in, out, 4096);
in.close();
out.close();
}
}运行时出现下列错误
14/04/24 22:00:59 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
原因是因为没有找到native库,需要在运行配置中配置native的路径。解决方法是右键Run As->Run Configurations->Arguments->VM arguments中写入libhadoop.so和libSnappy.so的路径即可。
-Djava.library.path=/home/hadoop/hadoop-1.2.1/lib/native/Linux-amd64-64:/usr/local/lib
解决Hadoop解压过程中的native库问题
本文介绍了解决使用Hadoop解压缩文件时遇到的native库未找到问题的方法,通过配置VM arguments参数来解决。同时提供了相关代码示例。
874

被折叠的 条评论
为什么被折叠?



