windows10下spark2.3.0本地开发环境搭建-亲测

 

1  windows10下spark2.3.0本地开发环境搭建

文档下载地址：https://download.youkuaiyun.com/download/hambition/10492232

由于博文上传图片比较麻烦，图片又非常之多，没分的同学可直接看博文

win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本：

win10 家庭装，64位，x86处理器

JDK1.8.0_171

hadoop-2.7.6

Spark-2.3.0

Scala-2.11.8

Maven-3.5.3

ideaIC-2018.1.4.exe

spark-2.3.0-bin-hadoop2.7

1.1  JDK1.8.0_171

a.    下载JDK，jdk-8u171-windows-x64.exe，安装到目录：D:\setupedsoft\Java，并设置 JAVA_HOME 变量

b. 设置 Path 变量，添加 ;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin

c. 设置 Classpath 添加： .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar

d.    最后在终端输入java -version，出现类似如下结果即可：

1.2   hadoop-2.7.6

1.2.1 下载并解压

官网http://hadoop.apache.org/releases.html下载Hadoop2.7.6，解压至安装目录D:\setupedsoft\hadoop-2.7.6 

1.2.2 设置环境变量

a.    设置 HADOOP_HOME变量

b.设置 Path 变量：添加 ;%HADOOP_HOME%\bin

1.2.3 支持windows运行

在https://pan.baidu.com/s/1_C4TALLBW9TbIrJMC4JKtA 密码: dc63 下载一个支持在windows运行hadoop的工具，解压，用解压后的bin、etc目录覆盖hadoop的bin、etc目录（亲测这个工具适用于hadoop2.5和2.7，其他的尚且不知）

1.2.4 创建HADOOP数据存储目录

在/D:/datafile/hadoop-2.7.6目录新建workplace目录，进入workplace，新建子文件夹temp、data、name 

1.2.5 修改hadoop配置文件

编辑D:\setupedsoft\hadoop-2.7.6\etc\hadoop\core-site.xml

<configuration>  <property>         <name>hadoop.tmp.dir</name>         <value>/D:/datafile/hadoop-2.7.6/workplace/temp</value>     </property>     <property>         <name>dfs.name.dir</name>         <value>/D:/datafile/hadoop-2.7.6/workplace/name</value>     </property>     <property>         <name>fs.default.name</name>         <value>hdfs://localhost:9000</value>     </property>       <property>         <name>fs.defaultFS</name>         <value>hdfs://localhost:9000</value>     </property> </configuration>

编辑D:\setupedsoft\hadoop-2.7.6\etc\hadoop\mapred-site.xml

<configuration>     <property>        <name>mapreduce.framework.name</name>        <value>yarn</value>     </property>            <property>        <name>mapred.job.tracker</name>        <value>hdfs://localhost:9001</value>     </property> </configuration>

编辑D:\setupedsoft\hadoop-2.7.6\etc\hadoop\hdfs-site.xml

<configuration>  <property>         <name>dfs.replication</name>         <value>1</value>     </property>         <property>         <name>dfs.data.dir</name>         <value>/D:/datafile/hadoop-2.7.6/workplace/data</value>     </property>     <property>         <name>dfs.namenode.name.dir</name>         <value>/D:/datafile/hadoop-2.7.6/workplace/namenode</value>     </property>     <property>         <name>dfs.datanode.data.dir</name>         <value>/D:/datafile/hadoop-2.7.6/workplace/datanode</value>     </property> </configuration>

编辑D:\setupedsoft\hadoop-2.7.6\etc\hadoop\yarn-site.xml

<configuration>     <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>     </property>     <property>        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>        <value>org.apache.hadoop.mapred.ShuffleHandler</value>     </property> </configuration>

编辑D:\setupedsoft\hadoop-2.7.6\etc\hadoop\hadoop-env.cmd 

找到set JAVA_HOME=%JAVA_HOME%，将%JAVA_HOME%替换为D:\setupedsoft\Java\jdk1.8.0_171

1.2.6 格式化命名节点

终端运行hdfs namenode -format，出现类似