windows 安装配置 hadoop2.7.2 spark2.2.3 初学入门

最新推荐文章于 2025-09-14 13:47:09 发布

原创

最新推荐文章于 2025-09-14 13:47:09 发布 · 2.1k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #spark

本文详细介绍了如何在Windows系统中安装和配置Hadoop 2.7.2以及Spark 2.2.3。内容包括：设置Hadoop的环境变量、配置core-site.xml、hadoop-env.cmd等文件，启动和测试Hadoop集群，以及上传文件到集群。接着讲解了Spark的下载、解压和配置环境变量，最后通过启动spark-shell验证安装成功。

Hadoop

1.下载安装包，不赘述了。我解压路径为：E:\soft\hadoop-2.7.2

2.修改etc文件夹下的文件：

core-site.xml：

<configuration>

<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/E:/soft/hadoop-2.7.2/workplace/tmp</value>
</property>
</configuration>

hadoop-env.cmd：

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_144

我的JDK安装目录是C:\Program Files\Java\jdk1.8.0_144，由于Program Files中间有空格，这里会报错，所以用PROGRA~1代替Program Files。如果你的jdk路径没有空格，那么就直接用你自己的路径就好。

hadoop-env.sh ，mapred-env.sh， yarn-env.sh：

export JAVA_HOME=C:\Program Files\Java\jdk1.8.0_144 这三个文件配置路径，这里可以不替换Program Files

hdfs-si