hadoop fs -ls / 出现WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform

hadoop3.2.3 编译 native库(超详细,亲测成功) 目录为什么要编译 native 库安装工具包安装 zlib,bzip2,lz4安装 openssl安装 JDK8,maven安装 cmake安装 protobuf安装 snappy安装 zstd安装 isa-l安装 aws-DynamoDBLocal 包安装 aws-java-sdk-bundle 包编译 native 库验证踩坑总结 为什么要编译 native 库 hadoop 二进制包是提供预编译的 native 库,但是 32 位的,服务器基本是 64 位,所以需要重新编译 native 库, 安装工 阅读详情

Hadoop fs -ls / 出现WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable问题
配置完hadoop启动的时候出现如下警告信息:

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  

问题在哪里?有人说这是hadoop的预编译包是32bit的,运行在64bit上就会有问题。但是这个答案大多数时候都是错的。
如何验证64bit还是32bit?

进入hadoop安装目录/usr/local/hadoop-2.5.2/lib/native
用ldd命令查看依赖库ldd libhadoop.so.1.0.0
会输出如下信息:./libhadoop.so.1.0.0: /lib64/libc.so.6: versionGLIBC_2.14’ not found (required by ./libhadoop.so.1.0.0)
linux-vdso.so.1 => (0x00007fff369ff000)
libdl.so.2 => /lib64/libdl.so.2 (0x00007f3caa7ea000)
libc.so.6 => /lib64/libc.so.6 (0x00007f3caa455000)
/lib64/ld-linux-x86-64.so.2 (0x00007f3caac1b000)
可以看到依赖的都是/lib64/的动态库,所以不是64位/32位问题。但是看到报错,GLIBC_2.14找不到,现在检查系统的glibc库, ldd --version即可检查。
输入命令:
ldd –version
会输出如下信息:
ldd (GNU libc) 2.12
Copyright (C) 2010 Free Software Foundation, Inc.
This is free software; see the source for copying conditions. There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
Written by Roland McGrath and Ulrich Drepper.

原来系统预装的glibc库是2.12版本,而hadoop期望是2.14版本,所以打印警告信息。
现在有两个办法,重新编译glibc.2.14版本,安装后专门给hadoop使用,这个有点危险。

第二个办法直接在log4j日志中去除告警信息。在//usr/local/hadoop-2.5.2/etc/hadoop/log4j.properties文件中添加

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR  
hadoop-native-64-2.6.0.zip Hadoop使用过程报错:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...解决 下载过后把tar包解压在hdoop的lib/native下即可 立即下载

相关推荐

hadoop-2.6.0编译好的64bit的native库

在64位系统上运行Hadoop 2.6.0会出现以下提示: 用缺省的32位native库(/opt/hadoop-2.6.0/lib/native)会出现下面的错误: 14/01/27 10:52:34 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Starting namenodes on [Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /opt/hadoop-2.6.0/lib/native/libhadoop.so which might have disabled stack guard. The VM will try to fix the stack guard now. It's highly recommended that you fix the library with 'execstack -c ', or link it with '-z noexecstack'. 这是因为hadoop默认编译好的native库是32bit的,所以要重新编译hadoop2.6的源代码,获取64位native库,将其复制到原来安装的hadoop的native目录中替代原来的类库,然后重新运行即可。

[已解决]hadoop报错: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfor

hadoop报错: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfor

神是念着倒 4万+

hadoop-native-64-2.7.0.tar

解决:Unable to load native-hadoop library for your platform 问题 原因: Apache提供的hadoop本地库是32位的,而在64位的服务器上就会有问题,因此需要自己编译64位的版本。 将准备好的64位的lib包解压到已经安装好的hadoop安装目录的lib/native 和 lib目录下:

Hadoop的本地库(Native Libraries)及相关问题总结

主体转自:http://blog.sina.com.cn/s/blog_3d9e90ad0102wqrp.html (未亲测,我的getconf LONG_BIT返回32,且file libhadoop.so.1.0.0返回64,与之相反)Hadoop的本地库(Native Libraries)介绍Hadoop是使用Java语言开发的,但是有一些需求和操作并不适合使用java,所以就引入了本地库(...

u013303361的专栏 1万+

hadoop-2.6.0 64位native

hadoop-2.6.0 64位native,直接删除hadoop-2.6.0/lib/native,然后解压unzip native-x64.zip,最后重命名mv native-x64/ native就可以了。

hadoop lib/native

在安装hadoop时如果遇到WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform这个错误,请下载该文件放到hadoop目录下,Mac中放到libexec目录下。

【Hadoop】Hadoop 3.3.1 源码编译 native库支持ec纠删码和压缩算法,亲自整理有效

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统( Distributed File System),其中一个组件是HDFS(Hadoop Distributed File System)。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throug Centos 8.4 编译环境软件安装目录。

如切如磋,如琢如磨,臻于至善。 832

hadoop-native-lib-x64-2.7.3.tar.gz

hadoop 2.7.3 的本地接口库,snappy 使用的是1.1.3版本。使用时直接把包解压后放到$HADOOP_HOME/lib/native目录下即可。 [root@pseudo ~]# hadoop checknative -a 17/09/11 14:30:49 WARN bzip2.Bzip2Factory: Failed to load/initialize native-bzip2 library system-native, will use pure-Java version 17/09/11 14:30:49 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library Native library checking: hadoop: true /taidl/hadoop/lib/native/libhadoop.so zlib: true /lib64/libz.so.1 snappy: true /taidl/hadoop/lib/native/libsnappy.so.1 lz4: true revision:99 bzip2: false openssl: true /lib64/libcrypto.so 17/09/11 14:30:50 INFO util.ExitUtil: Exiting with status 1 [root@pseudo ~]#

适合小白的配置hadoop环境教程

1.首先需要配置jdk环境,如没有配置请查看之前的教程 jdk环境配置点击直达 本文使用的是hadoop-2.6.0-cdh5.14.2.tar.gz 2.首先上传压缩包到/opt文件夹,并输入以下命令解压 tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz 然后将解压的文件夹改名 mv hadoop-2.6.0-cdh5.14.2/ hadoop 3.配置环境变量 vi /etc/profile 插入 export HADOOP_HOME=/opt/hadoop exp

子清的博客 2030

网络调试和分析工具 Proxyman Premium

它支持MacOS、iOS和iPadOS等操作系统,提供丰富的功能,如查看和编辑HTTP/HTTPS请求和响应、设置断点、过滤请求等。Proxyman Premium还支持WebSocket、GraphQL和gRPC等现代网络协议调试,并通过直观且图形化的操作界面,使用户能高效地监控和操纵网络数据流。此外,它还具备多种高级功能,如WebSocket支持、DNS欺骗、自定义SSL证书等,为开发人员提供极大的便利。同时,由于软件版本更新和界面调整,上述步骤可能会有所变化,建议您参考最新版本的官方文档进行操作。

llhf688的博客 2003

ESP32 IDF开发 应用篇⑲ 空中升级OTA

在实际产品开发过程中,在线升级可以远程解决产品软件开发引入的问题,更好地满足用户需求。OTA(空中)更新是使用 Wi-Fi 连接而不是串行端口将固件加载到 ESP 模块的过程。(1)、ESP32 的 OTA 升级有三种方式:·Arduino IDE:主要用于软件开发阶段,实现不接线固件烧写·Web Browser:通过 Web 浏览器手动提供应用程序更新模块·HTTP Server:自动使用http服务器 - 针对产品应用在三种升级情况下,必须通过串行端口完成第一个固件上传。

lu330274924的博客 3326

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform问题解决

问题描述 执行hadoop fs -ls / 命令报如下错误: 17/07/21 17:50:33 WARNutil.NativeCodeLoader: Unable to load native-hadoop library for yourplatform... using builtin-java classes where applicable Found 1 items 问题解决

骑猪喝咖啡 1074

RiscV运行zephyr和Linux的方法

riscv基金会搞了一个网站,用于介绍如何使用riscv指令集进行开发。 对于运行zephyr和linux以及Qemu有非常大的帮助。 可以作为riscv开发的相关参考。 RISC-V - Getting Started Guide — RISC-V - Getting Started Guidehttps://risc-v-getting-started-guide.readthedocs.io/en/latest/index.html RISC-V - Getting Started Gu.

闲人的专栏 737

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-

集群环境:hadoop2.4.1 问题描述: 在执行hadoop fs -ls / 时,显示:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin- ,从问题上可以看出,不能够加载本地库。 原因分析: 查看linux系统的的位数:[r

什么最重要?算法!! 1002

Ubuntu技巧-Ubuntu远程访问之SSH反向代理

💡大家好,我是可夫小子,《小白玩转ChatGPT》专栏作者,关注AIGC、互联网和自媒体。要把内网的一台的Ubuntu服务器让外面也能访问,总共有三种可行的方案,前面已经介绍了两种方式,今天就来介绍更健壮稳定的方式——ssh反向代理。大概的框架图如下,今天就从服务器购买到设置,手把手的教程,让你花费100块以内,就拥有一个强大的「云服务器」。

可夫小子的频道 1153

Ubuntu 14.04下手动部署Accumulo 1.6.6全指南

NoSQL数据库是现代大数据系统的核心存储范式,其核心价值在于高吞吐、水平扩展与灵活数据模型。Apache Accumulo作为典型的分布式键值存储,区别于通用NoSQL如HBase的关键在于内置细粒度访问控制(visibility标签)和强一致的WAL日志机制。这类能力高度依赖底层组件协同——Hadoop提供文件系统与计算框架,ZooKeeper保障元数据一致性,而Java运行时环境则直接影响线程调度与内存稳定性。在Ubuntu 14.04这一经典但受限的发行版上部署Accumulo,本质是理解版本锁死、

weixin_33860528的博客 438

【UE5】【蓝图】 LevelSequence 动画播放与暂停

最近有些工作,在研究UE5 蓝图的LevelSequence,来制作一些简单动画。做个笔记,记录一下动画更换绑定actor的操作,以及动画播放后如何暂停和继续。

UE5开发备忘录 1万+

Hadoop集群找不到native-hadoop

找不到压缩类型支持的包,hadoop的依赖没有找到。

Brother_ning的博客 956

Apple Store 上架过包:iOS审核4.3被拒原因分析与解决修改方案

Apple Store 上架过包:iOS审核4.3被拒原因分析与解决修改方案

专业解决各种上架过包问题,专业团队专业处理 751

一、C++反作弊对抗实战 (基础篇 —— 2.注册表注入DLL)

在Windows NT/XP操作系统中,当需要加载user32.dll的程序启动时,user32.dll会加载注册表键HLM\Software\Microsoft\WindowsNT\CurrentVersion\Windows\AppInit_dlls下面列出的所有模块。

Koma的主页 1098

【解决办法】hadoop运行warn “util.NativeCodeLoader: Unable to load native-hadoop library for your platform”

ps:本片博文主要介绍如何解决 hadoop 在运行的时候出现如下 warn 的解决办法资源链接: hadoop官方文档所有版本地址:https://hadoop.apache.org/docs/ hadoop Native Libraries 的官方介绍: http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-commo

Chail 2万+

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

Hadoop命令报错 - WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... u

错误描述: hduser@master:~$ hadoop fs -ls 19/12/19 20:44:21 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 核查原因: 1. 开启H...

莉莉丫丫的博客 730

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Hadoop集群搭建教程

1、准备工作: 由于hadoop是基于java的,所以需要预先安装jdk,安装jdk的教程可参考这篇:https://blog.csdn.net/qq_34566673/article/details/107797472 准备好着两个压缩包,通过xftp传至虚拟机中 2、安装: 通过tar命令将hadoop主文件解压至指定目录 tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/bigdata/hadoop/ 将解压后的文件夹重命名为hadoop260 将na

qq_34566673的博客 219

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

Hadoop中常见问题汇总

在hadoop中的学习中经常会出现不同的问题,今天对一些问题进行汇总。 问题一:org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 在安装好VM以及Linux

yrlailh的博客 650

运行hadoop指令之——WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform....

每天都会遇到新的问题,每件事他没有唯一的解决方法,善于发现问题,善于解决问题,这是你走向成功的一门法宝,与其在问题困扰上纠结,还不如去尝试解决的方法,, ——————————送给正在寻找答案的你 今天发现的问题 配置完hadoop启动的时候出现如下警告信息但是会正常显示结果: [hadoop@hadoop001 bin]$ hadoop fs -ls / 18/11/30 14:39:37 WAR...

qq_43688472的博客 590
上一篇: HBase体系架构说明
下一篇: Hbase的drop(),del(),create(),scan()条件过滤,put(),get() 的Java方法
JSON_ZJS
博客等级 码龄9年 30粉丝 159原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值