解决 Unable to load native-hadoop library for your platform

当在启动Hadoop或Spark-Shell时遇到'Unable to load native-hadoop library for your platform...'警告,通常是由于32位库在64位系统上的问题。解决方案包括:从网站下载64位的hadoop-native库,将其解压到hadoop安装目录的lib/native和lib下,然后在环境变量中设置HADOOP_COMMON_LIB_NATIVE_DIR和java.library.path。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

安装hadoop启动之后或者在启动spark-shell的时候总有警告:

Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

遇到这种情况,原因一般是

Apache提供的hadoop本地库是32位的,而在64位的服务器上就会有问题,因此需要自己编译64位的版本。

1、首先找到对应自己hadoop版本的64位的lib包,可以自己手动去编译,但比较麻烦,也可以去网上找,好多都有已经编译好了的。

2、可以去网站:http://dl.bintray.com/sequenceiq/sequenceiq-bin/  下载对应的编译版本

3、将准备好的64位的lib包解压到已经安装好的hadoop安装目录的lib/native 和 lib目录下:

  1. [hadoop@hadoopTest ~]$ tar -xvf hadoop-native-64-2.7.0.tar -C hadoop-2.7.
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值