Unable to load native-hadoop library for your platform... using builtin-Java classes where applicabl...

最新推荐文章于 2020-09-11 13:12:34 发布

weixin_34150830

最新推荐文章于 2020-09-11 13:12:34 发布

阅读量116

点赞数

文章标签：大数据 java

本文介绍了解决Spark在使用过程中遇到的与Hadoop版本兼容性问题的方法。通过编译对应版本的lib包，并设置环境变量，最终实现两者的兼容运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

以前hadoop也有这个问题，没注意，用spark也提示，解决一下。

首先找到对应自己hadoop版本的的lib包，编译好后，名字类似hadoop-native-64-2.4.1.tar ，放到lib下的覆盖native。

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

　　设置环境变量并生效。

　　还是不行。。

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_34150830

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Unable to load native-hadoop library for your platform... using builtin-java classes where applicab

主攻大数据人工智能物联网安全低空经济等方向。mtsc 、gtest特邀分享嘉宾

06-24

6693

情景：安装hadoop后启动运行HDFS报错：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 其实hdfs正常运行，各节点namenode和datanode等都正常运行的。但是就是有警告...

Unable to load native-hadoop library for your platform... using builtin-java classes where applicabl...

weixin_33836223的博客

02-20

438

　　问题描述： Unable to load native-hadoop library for your platform... using builtin-java classes where applicable [hadoop@djt002 native]$ pwd/usr/local/hadoop/hadoop-2.6.0/lib/native[hadoop@djt0...

参与评论您还未登录，请先登录后发表或查看评论

Spark记录-spark报错Unable to load native-hadoop library for your platform

weixin_30832351的博客

11-09

388

解决方案一： #cp $HADOOP_HOME/lib/native/libhadoop.so$JAVA_HOME/jre/lib/amd64 #源码编译snappy---./configure make & make install #cp libsnappy.so $JAVA_HOME/jre/lib/amd64 主要是jre目录下缺少了libhadoop.so和libs...

Unable to load native-hadoop library for your platform... using builtin-java classes where applicabl

Danger

10-31

362

Unable to load native-hadoop library for your platform… using builtin-java classes where applicabl 下载一个编译好了的native：下载对应的版本 1: http://dl.bintray.com/sequenceiq/sequenceiq-bin/ 或： hadoop-native-64-2.6.0...

unable to load native-hadoop library,using buildtin-java classes where applicable的解决

persistence勿忘初心

03-23

2454

安装hadoop启动之后总有警告： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 问题示例原因： Apache提供的hadoop本地库是32位的，而在64位的服务器上就会有问题...

Hadoop 启动WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using

01-09

搭建hadoop 环境时遇到启动异常告警问题 “WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable” 上来不多说，百度收集些相关...

Unable to load native-hadoop library for your platform...

05-30

Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 1. 下载文件native.rar 并解压 2. 用SecureFX 上传, 替换native目录下文件，选择二进制文件上传。 3. ...

【Spark】NativeCodeLoader:62Unable to load native-hadoop library for your platform... using builtin-ja

xiaohutong1991的专栏

09-11

3134

一、错误重现 [root@hadoop102 sparkProject]# python RFModelTrain_new.py 2020-09-11 12:56:01 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Setting default log level to "WARN". T

解决hadoop Unable to load native-hadoop library for your platform...

taizhen/blog

09-25

550

这种问题主要是自己的机器是64 位的但是 hadoop 只有32位的原因造成的。所以直接替换 hadoop /lib 下的native 目录就行 http://dl.bintray.com/sequenceiq/sequenceiq-bin/ 直接下载在机器上：wget http://dl.bintray.com/sequenceiq/sequenceiq-bin/ha

spark集群进入 bin 下面目录./spark-shell 出现Unable to load native-hadoop library for your platform... using bu...

weixin_30251587的博客

03-24

243

spark集群启动的时候可以正常，进入./spark-shell 就会出现如下错误配置文件：spark-env.sh export JAVA_HOME=/usr/java/jdk1.7.0_51export SCALA_HOME=/home/hadoop/scala-2.11.6 export SPARK_MASTER_IP=master24export SPARK_MASTER...

spark执行的时候报Unable to load native-hadoop library for your platform警告

每天进步一点点

03-23

9759

原因： spark预先编译的hadoop版本为32位的，放在64位的机器上执行会报这个错误，解决办法办法一、在 ~/.bash_profile 设置一下 export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native 办法二：在spark的conf目录下，在spark-env.sh文件中加入LD_LIBRARY_PATH

spark出现 Unable to load native-hadoop library for your platform 解决方案

努力变得不菜的菜鸡的博客

07-14

1684

启动Spark on YARN 首先进入到bin目录下，在控制台输入命令： spark-shell --master yarn --deploy-mode client 出现下面的错误：报错原因：内存资源给的过小，yarn直接kill掉进程，则报rpc连接失败、ClosedChannelException等错误。解决方法：先停止YARN服务，然后修改yarn-site.xml，增加如下...

解决 Unable to load native-hadoop library for your platform

weixin_30659829的博客

11-13

614

安装hadoop启动之后总有警告：Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 原因：Apache提供的hadoop本地库是32位的，而在64位的服务器上就会有问题，因此需要自己编译64位的版本。 1、首先找到对应自己h...

hadoop Unable to load native-hadoop library for your platform

changyichen111的博客

04-27

422

出现这样的问题 Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 1 jdk 安装有问题必须是64-bit Server 2 是 libhadoop.so.1.0.0 是32位的吗如果是搞到64位 jdk

NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java class

bluetropic的专栏

05-22

5539

hadoop 安装调试案例 wordcount，小错误与解决办法本实例的前提是，已经有INPUT目录和file01.txt file02.txt并且已经提交到hdfs的in 目录里。 $mkdir input $echo "hello world">file01.txt $echo "hello world">file02.txt $bin/hadoop dfs -put inp

Hadoop “Unable to load native-hadoop library for your platform” error

Mrknowledge

01-21

1954

Question: I'm currently configuring hadoop on a server running CentOs. When I run start-dfs.sh or stop-dfs.sh, I get the following error: WARN util.NativeCodeLoader: Unable to load native-hadoop

Unable to load library 'xxx': Native library (linux-x86-64/xxx.so) not found in resourc 问题解决

qq_29984105的博客

07-18

8586

部署遇到问题，以下是解决方法之一，记录保存下。类似报错信息是一样，但原因可能是很多种，这只是其中之一而已 Linux上部署springboot项目在windows上项目是可以正常运行的，部署到Linux上后，运行报异常，异常内容为：Unable to load library 'xxx': Native library (linux-x86-64/xxx）这个报错的原因就是项目无法加载库...