Mac 上安装Hadoop

本文档详细介绍了在Mac上安装Hadoop的步骤,包括安装JAVA、下载Hadoop、配置环境变量、修改配置文件、安装HDFS、启动HDFS和YARN,以及检查Hadoop启动状态的方法。

1.安装JAVA

安装java就不详细说了,直接下载jdk,安装。现在mac新版本好像都不用专门给java和python配置环境变量就直接能用。

终端输入

java -version

如果显示出java版本号就ok了。如果没有,使用命令vim ~/.bash_profile 修改一下环境变量。

2.下载Hadoop

网址:https://hadoop.apache.org/releases.html

根据想下载的版本,选一个,下载解压。

3.下载的同时,修改mac的配置。 

系统偏好设置-->选择共享-->打开远程登录勾选上

4.配置Hadoop环境变量 

Hadoop的环境变量还是要自己配置的。

使用命令vim ~/.bash_profile

修改环境变量:

# 要填自己下载的Hadoop的解压位置的地址
export HADOOP_PATH=/Users/***/Documents/tools/hadoop-2.9.2
# 在PATH后面追加hadoop环境变量
export PATH=$PATH:${HADOOP_PATH}/bin

修改保存完成后,使用命令:source ~/.bash_profile  让环境变量立刻生效。

执行命令hadoop version  可以查看到hadoop的版本信息,则说明Hadoop路径配置好了

以下是在MacBook上安装Hadoop的步骤: 步骤1:安装Java Hadoop是用Java编写的,因此要在MacBook上安装Java。您可以通过以下命令检查是否已安装Java: java -version 如果Java未安装,则可以从Oracle官方网站下载安装Java。 步骤2:下载Hadoop 您可以从Apache Hadoop官方网站下载Hadoop的最新版本。或者,您可以使用以下命令从终端下载Hadoop: curl -O http://apache.mirrors.lucidnetworks.net/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz 步骤3:解压Hadoop 使用以下命令解压Hadoop: tar -zxvf hadoop-3.3.0.tar.gz 步骤4:配置Hadoop 在解压缩的Hadoop目录中,找到conf文件夹。在此文件夹中,找到以下文件: - core-site.xml - hdfs-site.xml - mapred-site.xml - yarn-site.xml 在这些文件中,按照以下方式进行配置: core-site.xml: <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> hdfs-site.xml: <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/Users/<your-username>/hadoop/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/Users/<your-username>/hadoop/hdfs/datanode</value> </property> </configuration> mapred-site.xml: <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> yarn-site.xml: <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> 步骤5:启动Hadoop 使用以下命令启动Hadoop: ./sbin/start-all.sh 您可以使用以下命令检查Hadoop是否正在运行: jps 步骤6:测试Hadoop 在终端中,使用以下命令创建一个名为input的文件夹: hadoop fs -mkdir /input 在input文件夹中,创建一个名为input.txt的文件,并将以下内容复制到文件中: Hello Hadoop Hello Big Data 使用以下命令将input.txt文件上传到Hadoophadoop fs -put input.txt /input 使用以下命令运行Hadoop的WordCount示例: hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar wordcount /input /output 使用以下命令从Hadoop中检索输出: hadoop fs -cat /output/part-r-00000 您应该看到以下输出: Big 1 Data 1 Hadoop 1 Hello 2 恭喜您已成功在MacBook上安装和运行Hadoop
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值