mac下Hadoop、HDFS、Spark环境的安装和搭建

最新推荐文章于 2024-11-16 21:11:17 发布

huanghanqian

最新推荐文章于 2024-11-16 21:11:17 发布

阅读量2.5w

点赞数 9

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/huanghanqian/article/details/78185285

本文介绍了在Mac操作系统下安装和搭建Hadoop、HDFS及Spark环境的详细步骤，包括配置SSH、使用Homebrew安装Hadoop、修改配置文件、格式化HDFS、设置环境变量以及启动服务。同时，文章还提到了安装Scala和Spark的过程，为后续的数据处理和分析做好准备。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

环境搭建

相比之前搭建Hadoop环境的Windows系统的相对繁琐步骤，Mac下显得简单不少。
虽然我们需要搭建的是Spark环境，但是因为Spark依赖了Hadoop的HDFS以及YARN计算框架，当然还有类似软件包管理软件。

安装前必备

操作系统：Mac OS X
JDK：1.8.0_121
命令终端：iTerm2（Mac自带的命令终端也一样，只是配置环境参数需要到~/.bash_profile下添加，对于iTerm2需要到~/.zshrc中添加）
软件包管理工具：brew（能够方便的安装和卸载软件，使用brew cash还可以安装图形化的软件，类似于Ubuntu下的apt-get以及前端里的npm）

安装Hadoop

上面步骤和条件如果都具备的话，就可以安装Hadoop了，这也是我唯一遇到坑的地方。

1. 配置ssh

配置ssh就是为了能够实现免密登录，这样方便远程管理Hadoop并无需登录密码在Hadoop集群上共享文件资源。
如果你的机子没有配置ssh的话，在命令终端输入ssh localhost是需要输入你的电脑登录密码的。配置好ssh后，就无需输入密码了。
第一步就是在终端执行ssh-keygen -t rsa -P ''，之后一路enter键，当然如果你之前已经执行过这样的语句，那过程中会提示是否要覆盖原有的key，输入y即可。
第二步执行语句cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys用于授权你的公钥到本地可以无需密码实现登录。
理论上这时候，你在终端输入ssh lcoalhost就能够免密登录了。

但是，我在这里遇到了个问题，折腾了我蛮久。当我执行cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys的时候，总是出现如下警告zsh: permission denied: /Users/jackie/.ssh/authorized_keys。
显然这是权限问题，我直接为ssh目录赋予777、