在hive配置snappy压缩后执行查询语句报错的原因

最新推荐文章于 2023-11-12 20:52:49 发布
原创 最新推荐文章于 2023-11-12 20:52:49 发布 · 1.3k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop支持snappy解压

本文详细介绍了在Hive中使用Snappy压缩时遇到的错误：'nativesnappylibrarynotavailable',并提供了具体的解决方案，包括修改文件权限的方法及进一步的排查步骤。

在hive配置snappy运行select count(ename) name from emp;报如下错误
org.apache.hadoop.hive.ql.metadata.HiveException: native snappy library not available: this version of libhadoop was built without snappy support.
因为hadoop编译源码时间过长,我便把native文件夹直接拷贝到了hadoop里把原来的覆盖了
因为拷贝的话一般都是root权限 如果此时没有改变权限的话大概会出现以上错误
使用chown -R 777 文件夹
或 chown -R 当前用户 native文件夹
chown -R 当前用户:当前用户组 native文件夹
如果不是这里的错误,那么请参考:
https://blog.youkuaiyun.com/wzy0623/article/details/51263041

写hbase异常native snappy library not available: this version of lib hadoop was built without snappy
balalaxstar的博客
06-30 1823
操作snappy压缩的表时抛出: 原因: 是由于没有在java.library.path上加上snappy库解决方法:修改spark-defauilt.conf配置文件 加上: spark.executor.extraLibraryPath /ldata/Install/hadoop/lib/native 或者spark.executor.extraJavaOptions -Djava.library.path=/data/Install/hadoop/lib/native如果是spark任务，则在spa
hadoop的snappy压缩出错
SJH2725970073的博客
10-30 1619
说明你的本地hadoop没有安装snappy压缩。 可以使用自己编译snappy，或者使用已安装好snappy压缩的 hadoop替换自己原来的hadoop。hadoop3.x带snappy(可用于windows本地开发) java.lang.RuntimeException: native snappy library not available: this version of libhadoop was built without snappy support. at org.apache.hado
解决使用Pyspark进行读取HDFS上的文件时的报错
zh_19995的博客
11-12 1171
求人不如求己。无论学习还是生活，在遇到Bug和问题的时候，我们总是习惯的去寻找帮助，却少有静下心来，自己尝试去解决。比如，我写代码遇到问题总是第一时间百度，却少有去分析报错原因，只想着赶紧解决这个Bug。但今天来看，网上的文章几乎抄来抄去（当然高质量的文章仍然不少），不如自己去认真反思一下Bug或者问题的原因来一步步的去思考，去尝试，最终解决。独立解决问题的能力十分重要！学习不能一味一知半解。有时候，你可能会觉得你在课堂上或书本上学到的知识无法应用到实际项目中。
最笨的方法解决 使用Snappy 压缩方式报错“java.lang.UnsatisfiedLinkError: no snappyjava in java.library.path”...
weixin_30374009的博客
08-31 400
之前写过一篇这个文章：http://blog.youkuaiyun.com/stark_summer/article/details/47361603，那个时候 linux环境 spark 使用snappy方式压缩任然不好用，而今天我同事hive on hadoop 使用snappy压缩方式也报这个错，此刻的我，感觉这个问题 一定要解决 我想了想，只能使用最笨的方式先解决这个问题了，将libsnap...
hive 查询结果压缩
09-22 500
set hive.exec.compress.output=true; set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec; SnappyCodec
Hive使用Snappy压缩，Parquet格式存储文件
x²＋(y－√³x²)²＝1的博客
01-26 4574
一、数据内容 95002,刘晨,女,19,IS 95017,王风娟,女,18,IS 95018,王一,女,19,IS 95013,冯伟,男,21,CS 95014,王小丽,女,19,CS 95019,邢小丽,女,19,IS 95020,赵钱,男,21,IS 二、查看 HDFS 是否支持 Snappy 格式 在 shell 命令行执行： hadoop checknative 返回： 21/01/26 20:32:52 WARN bzip2.Bzip2Factory: Failed to load/init
hive执行删除语句报错：Attempt to do update or delete using transaction manager that does not support these operations.
04-17
好的，用户遇到了Hive执行删除语句时的错误：“Attempt to do update or delete using transaction manager that does not support these operations.” 我需要根据之前的对话和提供的引用内容，帮助用户解决这个...
hive的orc表用insert语句报错unsupported tablesink format
最新发布
08-08
在 Hive 中对 ORC 格式的表使用 `INSERT` 语句插入数据时，如果出现报错 `unsupported tablesink format`，通常是因为表的文件格式或 SerDe（序列化/反序列化）配置不正确，导致 Hive 无法识别目标表的存储格式。...
Hive ORC + SNAPPY
weixin_30664051的博客
03-01 899
Hive orc 格式 + snappy 压缩是比较常用的存储加压缩格式。 今天处理下面的场景时，解决了一些问题，记录下来： flume消费kafka的数据实时写入hdfs，通过创建分区表，t + 1 时，需要看到昨天的数据： 　　 flume 通过snappy 将数据写入hdfs，可以通过在fliume.conf中配置以下 保证每天的数据写入同一个目录中： agent.s...
Hive数据压缩和存储
Joker_Jiang3的博客
07-22 541
Hive数据压缩和存储 一、Hadoop压缩配置 1、MR支持的压缩编码 压缩格式 算法 文件扩展名 是否可切分 DEFLATE DEFLATE .deflate 否 Gzip DEFLATE .gz 否 bzip2 bzip2 .bz2 是 LZO LZO .lzo 是 Snappy Snappy .snappy 否 为了支持多种压缩/解压缩算法，Hadoop 引入了编码/解码器，如下表所示： 压缩格式 对应的编码/解码器 DEFLATE org.apa
hive on tez 常见报错问题收集
01-26
1）Failing because I am unlikely to write too. 2）Caused by: java.lang.OutOfMemoryError: Java heap space 3）Current usage: 1.0 GB of 1 GB physical memory used;2.7 GB of 2.1 GB virtual memory used. Killing container 4）java.lang.RuntimeException: java.lang.RuntimeException: Hive Runtime Error while closing operators: null 5）hive on tez 最终insert的表如果使用到union all 时会导致直接查询结果表数据为空的
hive中的绣花模型_Hive Error: buildSupportsSnappy()Z
weixin_30451613的博客
12-31 2090
Error: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z问题描述报错的map , reduce 在log中均显示形如 java.lang.Exception: java.lang.UnsatisfiedLinkError:Error: org.apache.hadoop.util.NativeCodeLoader.b...
Hive Code2报错排查
tyh1579152915的博客
06-08 3703
大多数可能的code2报错一般是内存不够，所以加下面这个配置可以有效解决这个问题#取消小表加载至内存中但这个不一定是因为内存不够，其实很多错误都是报这种官方错误的，所以一定要去yarn上看日志。很多人看日志也找不到问题，因为并没有看到全部日志，翻到最底下，点击check here 才能看到完整日志。
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
qq_46402333的博客
02-28 1573
hive运行中的错误2：一直以为是虚拟机内存原因，今天发现另有起因。 查看日志之后，发现是没有支持snappy压缩的库: 我配置了3台虚拟机，命令：hadoop checknative查看后发现第二台，第三胎的hadoop本地库不支持nappy，于是，同步了一下本地库之后（在/opt./module/hadoop-2.7.2 下 执行 xsync lib），问题解决了 出现这些文件，就是支持...
sparkSQL写数据到hdfs中出现Snappy报错
sydt2011的博客
06-15 3924
今天spark在写数据到hive中出现错误 Job aborted due to stage failure: Task 7 in stage 5.0 failed 4 times, most recent failure: Lost task 7.3 in stage 5.0 (TID 68, NM-304-SA5212M4-BIGDATA-2016-356.BIGDATA.CHINATEL
hive报错整理笔记(未完成)
weixin_43813200的博客
11-04 1278
hive报错整理加载数据错误 加载数据错误 Caused by: java.io.IOException: Malformed ORC file ORC格式是列式存储的表，不能直接从本地文件导入数据，只有当数据源表也是ORC格式存储时，才可以直接加载，否则会出现上述报错。 解决办法 直接orc格式的数据源，进行互相导入；创建临时表(text格式)，通过临时表插入到orc格式的表中 ...
hive一直卡住不动
weixin_38842096的博客
03-12 8515
在使用hive 进行sql查询的时候，涉及mr的时候就会卡主不动。 jps 发现ResourceManger没有启动 启动之后会没事了 start-yarn.sh
Native snappy library not available: this version of libhadoop was built without snappy support
hellozhxy的博客
12-03 5337
    在使用spark Mllib的时候，训练好的模型save之后，在线service需要load加载该模型，实现线上预测。     实际加载load的时候，抛出异常：Native snappy library not available: this version of libhadoop was built without snappy support     查了下，发现是因为Hado...
native snappy library not available解决
热门推荐
yovela_hu的博客
11-16 1万+
java.lang.RuntimeException: native snappy library not available: this version of libhadoop was built without snappy support. 解决方案 原因是snappy本地库不可用，在编译libhadoop的时候需要制定支持snappy，这一点不同于hadoop1.0，haodop1.0只...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值