最笨的方法解决使用Snappy 压缩方式报错“java.lang.UnsatisfiedLinkError: no snappyjava in java.library.path”

最新推荐文章于 2025-06-13 16:09:12 发布

stark_summer

最新推荐文章于 2025-06-13 16:09:12 发布

阅读量3w

点赞数 2

CC 4.0 BY-SA版权

分类专栏：压缩-解压缩文章标签： spark hive snappy linux java

本文链接：https://blog.youkuaiyun.com/stark_summer/article/details/48135983

压缩-解压缩专栏收录该内容

3 篇文章

订阅专栏

本文详细记录了解决Hadoop集群在使用SNAPPY压缩方式时出现的问题的过程，包括将libsnappyjava.so文件复制到特定目录、修改配置文件等步骤，最终通过这些操作成功解决了问题，确保了SNAPPY压缩方式的正常运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

之前写过一篇这个文章：http://blog.youkuaiyun.com/stark_summer/article/details/47361603，那个时候 linux环境 spark 使用snappy方式压缩任然不好用，而今天我同事hive on hadoop 使用snappy压缩方式也报这个错，此刻的我，感觉这个问题一定要解决

我想了想，只能使用最笨的方式先解决这个问题了，将libsnappyjava.so文件放到$JAVA_HOME/jre/lib/amd64/下了

操作过程如下：

首先把$HADOOP_HOME/share/hadoop/common/lib/snappy-java-1.1.1.7.jar copy到临时目录下，然后unzip snappy-java-1.1.1.7.jar

解压后会有如下目录：

4096 Aug 31 15:58 META-INF
4096 Apr 14 16:05 org

进入libsnappyjava.so所在目录：

$cd org/xerial/snappy/native/Linux/x86_64/

就可以看到如下文件：

libsnappyjava.so

copy 到$JAVA_HOME/jre/lib/amd64/

测试程序如下：

import org.xerial.snappy.Snappy;

/**
 *  * Created by stark_summer on 15/8/8.
 *   */
public class TestSnappy {
    public static void main(String[] args) throws Exception{

        String input = "Hello snappy-java! Snappy-java is a JNI-based wrapper of "
                + "Snappy, a fast compresser/decompresser.";
        byte[] compressed = Snappy.compress(input.getBytes("UTF-8"));
        byte[] uncompressed = Snappy.uncompress(compressed);

        String result = new String(uncompressed, "UTF-8");
        System.out.println(result);
    }
}

编译：javac -classpath ./snappy-java-1.1.1.7.jar TestSnappy.java

执行：java TestSnappy

执行结果：
Hello snappy-java! Snappy-java is a JNI-based wrapper of Snappy, a fast compresser/decompresser.

将“libsnappyjava.so”文件copy到 hadoop集群：$JAVA_HOME/jre/lib/amd64/下，hive on hadoop，使用snappy方式压缩不在报错，搞定了

将SPARK_HOME/conf/spark-defaults.conf

spark.io.compression.codec lzf 注释或者去掉这行，spark将使用默认snappy压缩方式，也不再报错了

PS:

目前用最笨的方式解决了，但还是要进一步排查此问题