MacBook pro安装hadoop遇到的问题

MacBookPro安装Hadoop问题及解决方案

最新推荐文章于 2024-07-25 15:18:36 发布

原创最新推荐文章于 2024-07-25 15:18:36 发布 · 400 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #hdfs

hadoop 专栏收录该内容

13 篇文章

订阅专栏

在MacBook Pro上安装Hadoop时遇到了几个问题，包括免密登录不生效、Web页面无法显示、启动报权限错误以及创建文件失败。通过删除旧的SSH密钥并重新生成RSA密钥解决了免密登录问题；Web页面无法显示是由于端口号错误，改为9870后正常；启动报错是由于缺少免密配置；创建文件失败通过禁用HDFS权限解决。配置完成后，Hadoop安装成功。

MacBook pro安装遇到的问题
1·免密登录操作
问题：安装Hadoop之前进行免密操作，但是ssh localhost时依旧要输密码
原来的操作为
ssh-keygen -t dsa -p ‘’ -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
问题解决：操作将原来的～/.ssh里面的除了known_hosts文件都删除，重新执行以下命令
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
具体原因有待考查，目前只知道dsa是专用密钥，rsa是公用密钥
2.web页面
问题是：web页面出不来，提示连接不到localhost服务器
我写的端口是http://locahost:50070
问题解决：端口号改成9870
原因分析：可能是因为hadoop版本问题，端口号改成9870了
3.启动时因为权限问题报错
原因是刚开始没有配置免密登录
4.遇到无法创建文件
报错信息：mkdir: Permission denied: user=qiao.lan, access=WRITE, inode="/qiao":qiaowenbiao:supergroup:drwxr-xr-x
首先实现在webui界面和在终端中使用命令创建文件夹；
在hdfs-site.xml配置

<property>
      <name>dfs.permissions.enabled</name>
      <value>false</value>
</property>