自学Spark，又是Hello World？

前言

在18年初刚开始接触学习spark的时候，买了一本《Spark大数据处理技术》的书，虽然后来一些Spark开发的知识都是从官网和实践中得来的，但是这本书对我来说是启蒙和领路的作用。

还记得这本书编程的开篇就是Spark程序”Hello World“！果然，这辈子是摆脱不了”Hello World“了。

Hello World

在大数据里第一次遇到Hello World，还是在经典的MapReduce WordCount，以此讨论如何实现map和reduce的过程。

后来学习Spark，又遇到了Hello World，同样也是用WrodCount案例，来演示Spark对数据集的基本操作。那么就借Hello World来做一个Spark的入门教程。

认识Spark

Spark是一个大数据的分布式计算框架。既能和一个普通的程序一样，运行在本地（local）IDE中，也能运行在搭建的Spark集群（Cluster）上，不过现在已经很少见。最常见的就是运行在第三方的计算调度平台上，例如yarn和K8s。

我测试使用local模式，生产是yarn，所以Spark就围绕着这两个来写。先说说在IDE中如何开发local的Spark程序。

Spark开发语言一共有三种：Java、python、scala。我使用scala来完成Spark开发，原因:

1. 定理变量无需指定类型，使用val或var
2. lambada操作，更符合流式计算的感觉（我开发流式计算比较多）
3. 调用无参方法可以不写括号
4. 趁机多掌握一门语言，而且Spark源码大多为scala

程序开发

因为Spark源码是java和scala开发的，所以要配置java和scala环境，在选择spark版本的同时，一起选择对应的scala的版本。

为了和生产保持一致，Spark版本我用的是2.3.2，scala版本2.11.8。至于spark3的新特性什么的，用到的时候再讲也不迟。

先创建一个scala的maven程序。

</