用Eclipse对Hadoop文件进行压缩和解压缩编译过程中遇到的问题

最新推荐文章于 2021-02-21 12:52:15 发布

我心明月

最新推荐文章于 2021-02-21 12:52:15 发布

阅读量901

点赞数

CC 4.0 BY-SA版权

分类专栏： Hadoop 文章标签： hadoop native

本文链接：https://blog.youkuaiyun.com/px_dn/article/details/24438283

Hadoop 专栏收录该内容

7 篇文章

订阅专栏

本文介绍了解决使用Hadoop解压缩文件时遇到的native库未找到问题的方法，通过配置VM arguments参数来解决。同时提供了相关代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这是解压过程的代码

import java.io.*;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.compress.*;


public class TestDecompression {

	public static void main(String[] args) throws FileNotFoundException, IOException {
		String file = "/home/hadoop/zlib.tar.gz";
		Configuration conf = new Configuration();
		CompressionCodecFactory codecFactory = new CompressionCodecFactory(conf);
		CompressionCodec codec = codecFactory.getCodec(new Path(file));
		CompressionInputStream in = codec.createInputStream(new FileInputStream(new File(file)));
		FileOutputStream out = new FileOutputStream(new File(codecFactory.removeSuffix(file, codec.getDefaultExtension())));
		IOUtils.copyBytes(in, out, 4096);
		in.close();
		out.close();
	}

}

运行时出现下列错误

14/04/24 22:00:59 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

原因是因为没有找到native库，需要在运行配置中配置native的路径。解决方法是右键Run As->Run Configurations->Arguments->VM arguments中写入libhadoop.so和libSnappy.so的路径即可。

-Djava.library.path=/home/hadoop/hadoop-1.2.1/lib/native/Linux-amd64-64:/usr/local/lib