Hadoop dfs命令报错 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform..

最新推荐文章于 2023-02-21 08:23:23 发布

原创最新推荐文章于 2023-02-21 08:23:23 发布 · 1.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #dfs

hadoop 专栏收录该内容

7 篇文章

订阅专栏

本文介绍了解决Hadoopdfs命令在创建目录时遇到权限问题的方法。通过替换64位库文件并调整Hadoop配置文件hadoop-env.sh中的JAVA运行选项来修正原32位环境下的编译问题。

Hadoop dfs命令报错

在执行 $HADOOP_HOME/bin/hdfs dfs -mkdir -p /usr/local/hive/tmp 为tmp文件夹授予权限时报错：

 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

解决思路

下载64位编译的的lib放入native文件夹中
因为Hadoop包是在32位环境下编译的，在我们本地环境中需要换为64位，可以直接使用别人已经编译好的包，或者自行进行编译
修改配置文件

vim ./etc/hadoop/hadoop-env.sh 
找到：
Extra Java runtime options.  Empty by default.
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"
修改为：
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib:$HADOOP_PREFIX/lib/native"