mac搭建大数据环境遇到的问题

datadev_sh

于 2019-05-11 21:38:31 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏： Big Data 文章标签： mac bigdata 大数据

本文链接：https://blog.youkuaiyun.com/datadev_sh/article/details/90115485

本文记录了在mac上使用brew安装hadoop过程中遇到的问题，包括Invalid HADOOP_COMMON_HOME错误、SSH连接问题、start-dfs.sh权限拒绝以及启动hbase找不到主类的问题。解决方案涉及配置环境变量、修改ssh配置以及调整hbase文件路径。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用brew安装hadoop，使用无法正常市用。最终是使用下载解压包的方式。

问题1 Invalid HADOOP_COMMON_HOME

xin:out root# hadoop jar /usr/local/Cellar/hadoop/3.1.2/libexec/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-3.1.2-sources.jar org.apache.hadoop.examples.WordCount /Users/xin/Downloads/out/word.txt /Users/xin/Downloads/out/word-out
WARNING: log4j.properties is not found. HADOOP_CONF_DIR may be incomplete.
ERROR: Invalid HADOOP_COMMON_HOME

配置了上述的路径之后，输入hadoop命令没有任何反应，也没有报错。

xin:out root# hadoop version
xin:out root#

问题2 Connection closed by remote host

ssh无法使用。
一种原因是mac账号问题。
mac 无法使用 ssh root@本机：https://blog.youkuaiyun.com/datadev_sh/article/details/90111894

一种是sshd配置问题。

xin:mapreduce xin$ st

最低0.47元/天解锁文章