写hbase异常native snappy library not available: this version of lib hadoop was built without snappy

原创

已于 2022-08-05 10:23:38 修改 · 1.8k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #hbase #大数据

于 2022-06-30 15:44:53 首次发布

当操作Snappy压缩的Hadoop表时遇到'java.lang.RuntimeException:nativesnappylibrarynotavailable'异常，原因是缺少Snappy库。解决方法包括在spark-default.conf配置文件中添加对应的library路径，例如spark.executor.extraLibraryPath或spark.driver.extraLibraryPath。确保在系统中存在libhadoop.so文件，并在java.library.path路径下。如果使用spark-submit，需通过--driver-library-path参数指定。执行前使用'hadoop checknative'检查系统支持情况。若libhadoop.so不在java.library.path路径下，需将其复制到对应目录。

操作snappy压缩的表时抛出:

java.lang.RuntimeException: native snappy library not available: this version of lib hadoop was built without snappy support.

原因: 是由于没有在java.library.path上加上snappy库

解决方法：修改spark-default.conf配置文件
加上: spark.executor.extraLibraryPath /ldata/Install/hadoop/lib/native
或者spark.executor.extraJavaOptions -Djava.library.path=/data/Install/hadoop/lib/native

如果spark任务是cluster模式，则需要在spark-default.conf参数里面配置上

spark.driver.extraLibraryPath /opt/cloudera/parcels/CDH/lib/hadoop/lib/native

spark.executor.extraLibraryPath /opt/cloudera/pa

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

STAR･Wang

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

hadoop的snappy压缩出错

SJH2725970073的博客

10-30

1614

说明你的本地hadoop没有安装snappy压缩。可以使用自己编译snappy，或者使用已安装好snappy压缩的 hadoop替换自己原来的hadoop。hadoop3.x带snappy(可用于windows本地开发) java.lang.RuntimeException: native snappy library not available: this version of libhadoop was built without snappy support. at org.apache.hado

配置Snappy压缩

热门推荐

人是有思想的芦苇

07-23

1万+

1. 功能说明使用snappy压缩来提升mapreduce和hbase的性能。其实就是用CPU换IO吞吐量和磁盘空间。配置并使用snappy有如下几点要求：首先需要hadoop集群的native库已经收到编译好，并且添加了对snappy的支持。编译hadoop源码之前安装了snappy并且编译时指定-Drequire.snappy参数。

参与评论您还未登录，请先登录后发表或查看评论

hadoop2.7.3集群环境搭建

rayi_hong的专栏

02-15

613

1.下载hadoop文件包http://hadoop.apache.org/releases.html 2.在运行kylin sample时出现以下错误： org.apache.hadoop.hive.ql.metadata.HiveException: native snappy library not available: this version of libhadoop was bui

Native snappy library not available: this version of libhadoop was built without snappy support

hellozhxy的博客

12-03

5333

在使用spark Mllib的时候，训练好的模型save之后，在线service需要load加载该模型，实现线上预测。实际加载load的时候，抛出异常：Native snappy library not available: this version of libhadoop was built without snappy support 查了下，发现是因为Hado...

Python：this version of libhadoop was built without snappy support

qq_39314099的博客

03-27

1213

问题如下：项目中有hadoop集群，有的模块在写数据的时候，启用了spark的压缩格式：snappy，在读取的时候，程序解析不了snappy压缩格式的文件。this version of libhadoop was built without snappy support 解决方案：查阅了很多方式，都是说需要装hadoop，因为hadoop中是有snappy支持的。但是这个程序是在一个docke...

org.apache.hadoop.hbase.DoNotRetryIOException: org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.RuntimeException: native snappy library not available: this version of libhadoop was built without snappy support. Set hbase.table.sanity.checks to false at conf or table descriptor if you want to bypass sanity checks

06-13

snappy: true /path/to/native/lib/libsnappy.so.1 lz4: true revision:10301 bzip2: true /lib64/libbz2.so.1 openssl: true /usr/lib64/libcrypto.so ``` 如果你看到snappy为false，那么你需要在集群上安装snappy...

HBase集群配置SNAPPY压缩

01-20

大数据时代，海量数据的存储和分析是一个巨大的挑战，给hadoop或者hbase集群添加数据压缩的能力，是必不可少的，通过压缩不但能节约磁盘空间，而且也能节省集群间网络带宽的损耗，从而间接提高了集群任务的整体执行...

hadoop安装Snappy HBase本地安装Snappy

u012874052的博客

10-22

961

1、环境 Centos7 hadoop-2.7.7 zookeeper-3.4.14 hbase-1.4.10 JDK1.8 2、hadoop安装snappy（集群，在主库安装） 2.1、安装snappy需要Centos7安装一下插件必要插件执行以下命令（直接拷贝）： yum installautoconf automake libtoo...

Hadoop3.1.3 + Hbase2.1.7 设置Snappy压缩算法

ly_5683的博客

06-27

1673

一、查看Linux是否有系统自带的snappy库，如果有删除掉自带的snappy库 ① 查看Linux是否有系统自带的snappy库 ll /usr/lib64 | grep snappy ② 删除掉自带的snappy库 yum -y remove snappy 二、安装snappy本地库 ① 下载snappy： wget https://src.fedoraproject.org/repo/pkgs/snappy/snappy-1.1.4.tar.gz/sha512/873f655713611f4

native snappy library not available解决

yovela_hu的博客

11-16

1万+

java.lang.RuntimeException: native snappy library not available: this version of libhadoop was built without snappy support. 解决方案原因是snappy本地库不可用，在编译libhadoop的时候需要制定支持snappy，这一点不同于hadoop1.0，haodop1.0只...

this version of libhadoop was built without snappy support. 解决方案

minghai

08-20

1263

线上遇到该问题，hadoop checknative 显示是支持 Snappy 压缩的 [yarn@Centos hadoop]$ bin/hadoop checknative -a 21/08/20 17:52:39 INFO conf.Configuration: Current hadoop.security.authentication = simple 21/08/20 17:52:39 INFO bzip2.Bzip2Factory: Successfully loaded & init

Caused by: java.lang.RuntimeException: native snappy library not available: this version of libhadoo...

硅谷工具人

07-24

1220

使用hive时插入的数据，由于在hive配置中设置输出的是snappy格式文件，文件如下。在hadoop中检测支持的库：在使用spark-sql读取hive的这个表时，出现以下错误： Caused by: java.lang.RuntimeException: native snappy library not available: this version of libhadoop...

Hadoop出现 native snappy library not available: SnappyCompressor has not been loaded的解决办法...

weixin_30384217的博客

01-19

1603

我目前测试环境是Hadoop 2.7.1, 搭建群集之后经常出现错误“native snappy library not available: SnappyCompressor has not been loaded”，我目前是两个结点，单台是没有问题的，看了log之后也找不到什么原因，烦恼很久，后面发现如果是两台结点，会不会是读取hdfs上面的lib文件，而不是读取...

Hama笔记：Unable to load native-hadoop library 和 Snappy native library not loaded 的解决

weixin_30602505的博客

05-03

274

Hama日志中总会看到这两句话： 13/05/03 11:58:57 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 13/05/03 11:58:57 WARN snappy.L...

WARN LoadSnappy: Snappy native library not loaded

haiziccc的专栏

08-12

286

[root@master mapreduce_wordcount_python]# ./run.sh Deleted hdfs://192.168.183.10:9000/output packageJobJar: [./map.py, ./red.py, /usr/local/src/hadoop-1.2.1/tmp/hadoop-unjar3556020200698085095/...

Hadoop+HBase平台上安装snappy

weixin_34067102的博客

03-25

227

2019独角兽企业重金招聘Python工程师标准>>> ...

eclipse经常弹出Subversion Native Library Not Available解决方案

比你优秀的人比你还要努力

11-29

539

重新编译 Hadoop 2.7.2 native 以支持 snappy

wzy0623的专栏

04-27

9527

重新编译 Hadoop 2.7.2 native 以支持 snappy