MAC安装配置Hadoop3.*环境报错问题解决方案

Hadoop常见错误解决
最新推荐文章于 2024-07-12 10:22:10 发布
原创 最新推荐文章于 2024-07-12 10:22:10 发布 · 588 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文主要介绍了两个常见的Hadoop错误及其解决方案。一是关于native-hadoop库加载失败的问题，提供了重新编译源码或直接替换lib/native的方法，并分享了预编译的包资源；二是http://localhost:50070无法访问的问题，分析了可能是由于VPN开启或namenode初始化端口失效导致，并给出了关闭VPN和修改hdfs-site.xml文件中端口号的解决办法。

报错1:

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

native-hadoop包问题

解决方案：

1、重新编译源码后将新的lib/native替换到集群中原来的lib/native
不想编译可以使用我编译好的包，地址：https://download.youkuaiyun.com/download/loujun2016/10798878

下载后替换到自己的hadoop目录下即可

2、修改hadoop-env.sh ，增加（替换成自己的路径）

export HADOOP_OPTS="-Djava.library.path=/usr/local/Cellar/hadoop/3.1.1/libexec/native"

 

报错2:

http://localhost:50070 无法访问

原因1:本机开着vpn导致无法访问，关掉即可

原因2:namenode初始化端口失效，修改配置文件设置默认端口 
1.hdfs-site.xml 添加如下：

<property>
  <name>dfs.http.address</name>
  <value>0.0.0.0:50070</value>
</property>
 

 



 

Mac安装配置Hadoop
qq_43259354的博客
11-02 1456
一、SSH登陆权限设置_ SSH：secure shell,安全壳。是一种网络服务程序，传输数据安全高效。Hadoop是集群，不安装ssh会导致各服务器间无法访问。 （1）、打开远程登录，允许所有用户访问。 （2）、终端输入“ssh-keygen -t rsa -P “”” “cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys” （3）、输入“ssh localhost”。 （4）、若无须输入密码即可登录，则ssh免密登录设置成功。 二、安装单机.
MAC OS 运行hadoop提示util.NativeCodeLoader: Unable to load native-hadoop library for your platform的解决
每一点星光，都是一个来自其他世界的问候
04-23 2574
在Mac OS 测试Hadoop时，无论是启动Hadoop服务，还是运行Hadoop命令，均会提示以下警告信息： ./start-dfs.sh 17/04/23 18:20:15 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java
解决MacOS hadoop运行时报unable to load native-hadoop libary 的警报问题
tianbao668的博客
10-27 490
解决MacOS hadoop运行时报unable to load native-hadoop libary 的警报问题 当我们运行Hadoop的时候，总是会出现如下警报： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 这个警报的意思是系统运行的时候没有原生的hadoop库，虽然不会影响程序正常运
Mac 安装 Hadoop 3.x
发呆中!
01-16 2962
转自：https://blog.csdn.net/fox64194167/article/details/80617527 brew安装也可以，但是个人感觉还是自己去hadoop官网上下载hadoop相关包，地址：https://hadoop.apache.org/releases.html 3.1.1：https://www.apache.org/dyn/closer.cgi/hadoop/...
mac搭建hadoop3.2.1——伪分布模式
qq_40106467的博客
11-09 513
1 homebrew安装 ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" 安装完毕后使用brew doctor查看是否安装成功 2 设置ssh免密登录 因为hadoop中，在启动datanode、namenode时都需要免密登录，不设置，则会出现Permission denied的错误提示，导致无法启动DataNode。 设置免密登录： ssh-keygen -t rsa -
mac下编译hadoop3.0.*版本的native lib
qq_14811559的博客
05-14 3674
一、问题mac安装hadoop3.0.0 后报错：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable。原因一：lib/native路径配置问题打开环境变量配置文件：vi ~/.bash_profi...
Mac M1安装配置Hadoop+Flink SQL环境
最新发布
zhujiahui622的专栏
07-12 1955
Flink 1.18.1+ Hadoop 3.4.0
mac hadoop报错native 需要的包
10-10
在Mac系统上使用Hadoop时，可能会遇到一个常见的问题，即“Unable to load native-hadoop library”。这个错误信息表明Hadoop在尝试加载本地库（native library）时失败，通常是由于缺少必要的依赖或配置不当导致的...
解决Mac安装Hadoop报错：hadoop-3.1.3-mac-native_lib.zip源码编译
6. Hadoop在macOS系统上的安装和配置问题解决方法： 当在macOS系统上安装Hadoop时，用户可能会遇到因操作系统与Hadoop的兼容性问题导致的错误。这类问题的解决通常涉及到确保所有依赖的本地库都正确安装并配置。...
MapReduce连接Hbase时报错及处理
Steve lock的blog记录之地
06-02 3256
MapReduce连接Hbase时报错及处理我的Map class如下：package com.hbasepackage;import java.io.IOException;import org.apache.hadoop.hbase.client.Result;import org.apache.hadoop.hbase.io.ImmutableBytesWritable;import org.
Unable to load native-hadoop library for your platform...
05-30
Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 1. 下载文件native.rar 并解压 2. 用SecureFX 上传, 替换native目录下文件，选择二进制文件上传。 3. 成功。
Mac os下hadoop启动成功后显示unable to load native-hadoop library
xiamingazqs的博客
11-26 582
Mac os下hadoop启动成功后显示unable to load native-hadoop library 解决参考Apache Hadoop - add native libraries 先说环境， 系统：Mac os 10.14.6 java版本：1.8.0_231(8u231) hadoop版本：2.7.1 maven版本：3.6.2 终端：iTerm2 shell：zsh 根本原因是...
安装hadoop-3.2.1(mac伪分布式)
记录
04-08 1577
brew install hadoop ps:homebrew默认源下载比较慢，网上找了下切到阿里的镜像，速度快很多，以下是网上找的镜像 # 切到阿里镜像 # 替换brew.git: cd "$(brew --repo)" git remote set-url origin https://mirrors.aliyun.com/homebrew/brew.git # 替换homebrew-cor...
解决hadoop运行报错org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String；)Lorg/ap
LCreator的博客
03-04 1万+
目录 问题描述 解决思路 问题描述 今天我在idea中运行自定义outputformate类的时候遇到的问题org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z， 之前的wordcountdemo是自己打成jar包放到hadoop集群中运行，没有任何问题，就是很麻烦 所以尝试使用window本地去调试结果，结果就报了错误。我用的是window10系统，hadoop-3.1.3 解..
HADOOP Unable to load native-hadoop library for your platform... using builtin-java classes where
m0_67401055的博客
04-03 3849
解决：vi .bash_profile export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS=“-Djava.library.path=$HADOOP_HOME/lib/native” source.bash_profile hadoop checknative -a
MacBook pro安装hadoop遇到的问题
qiaobiao的博客
03-28 401
MacBook pro安装遇到的问题 1·免密登录操作 问题：安装Hadoop之前进行免密操作，但是ssh localhost时依旧要输密码 原来的操作为 ssh-keygen -t dsa -p ‘’ -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 问题解决：操作将原来的～/.ssh里面的除了known_hosts文件都删除，重新执行以下命令 ssh-keygen -t rsa cat ~/.ssh/id_rsa
hadoop安装完后打开网页http://localhost:50070/ 没反应
热门推荐
Coder的不平凡
09-22 2万+
在hadoop安装完后，依次执行hadoop namenode -format，start-dfs.sh，start-yarn.sh 之后 打开浏览器 输入 http://localhost:50070/ 无反应，查了网上很多说法都没有解决，直到关掉电脑连接的VPN之后就可以了。。
hadoop2.6解决 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... 问题
znb769525443的专栏
05-26 1万+
今天hadoop在启动时候，报 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 错误，然后增加调试信息，执行命令 export HADOOP_ROOT_LOGGER=DEBUG,c
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值