mac搭建大数据环境遇到的问题

最新推荐文章于 2025-10-16 16:34:25 发布

原创

最新推荐文章于 2025-10-16 16:34:25 发布 · 1.1k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#mac #bigdata #大数据

本文记录了在mac上使用brew安装hadoop过程中遇到的问题，包括Invalid HADOOP_COMMON_HOME错误、SSH连接问题、start-dfs.sh权限拒绝以及启动hbase找不到主类的问题。解决方案涉及配置环境变量、修改ssh配置以及调整hbase文件路径。

使用brew安装hadoop，使用无法正常市用。最终是使用下载解压包的方式。

问题1 Invalid HADOOP_COMMON_HOME

xin:out root# hadoop jar /usr/local/Cellar/hadoop/3.1.2/libexec/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-3.1.2-sources.jar org.apache.hadoop.examples.WordCount /Users/xin/Downloads/out/word.txt /Users/xin/Downloads/out/word-out
WARNING: log4j.properties is not found. HADOOP_CONF_DIR may be incomplete.
ERROR: Invalid HADOOP_COMMON_HOME

配置了上述的路径之后，输入hadoop命令没有任何反应，也没有报错。

xin:out root# hadoop version
xin:out root#

问题2 Connection closed by remote host

ssh无法使用。
一种原因是mac账号问题。
mac 无法使用 ssh root@本机：https://blog.youkuaiyun.com/datadev_sh/article/details/90111894

一种是sshd配置问题。

xin:mapreduce xin$ start-all.sh 
WARNING: Attempting to s

最低0.47元/天解锁文章