Docker构建学习环境(3)-部署Spark并提交WordCount任务

Spark概述

Apache Spark是一个开源集群运算框架，最初是由加州大学柏克莱分校AMPLab所开发。相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中，Spark使用了存储器内运算技术，能在数据尚未写入硬盘时即在存储器内分析运算。Spark在存储器内运行程序的运算速度能做到比Hadoop MapReduce的运算速度快上100倍，即便是运行程序于硬盘时，Spark也能快上10倍速度。[1]Spark允许用户将数据加载至集群存储器，并多次对其进行查询，非常适合用于机器学习算法。摘自维基百科。总结一下就是，hadoop的mapreduce是将中间结果存在磁盘上，而spark是将中间结果存在主存中，所以速度比Hadoop的mapreduce快。

准备工作

环境选择

• 宿主机系统：win10
• hadoop版本：3.1.1(构建基于HDFS的spark)
• Spark版本：2.4.5
• 容器系统：ubuntu16
• jdk：1.8

准备

• 下载jdk1.8下载地址放入E:/docker/spark目录下
• 下载Hadoop下载地址放入E:/docker/spark目录下，这一步不是必须的，只是因为我部署hdfs的时候选择了版本3.1.1不想重新部署，所以下载Spark时选择了Pre-build with user-provided Apache Haddop，啥意思呢？就是自定义版本的Hadoop，如果选择的Spark版本是Pre-build for Apache Haddop 2.6/2.7࿰