spark单机模式快速搭建

运维做了8年，带了好几年团队，但是逐渐发现自己技术上飘飘然，前几年还写写代码，做做运维，现在只能探探规划，看看方向。什么spark、docker、k8s、hadoop、open-falcon、devops、aiops都带团队做过，但自己真没具体做过。今天开始在运维、开发领域做个新手，重新从0开始学习，看看自己是不是既能上天又能入地

 

Spark介绍：

Spark程序在集群中独立运行，通过SparkContext在主程序统一管理

SparkContext能够连接多种集群（spark单机、mesos、yarn）管理和分配资源。连接后，SparkContext在集群节点上获得执行器来执行应用程序的计算、存储工作。然后SparkContext发送应用程序代码（JAR、Python）给执行器。最后SparkContext发送任务给执行器运行

环境：

阿里云ECS

CPU：2 * Intel(R) Xeon(R) Platinum 8163 CPU @ 2.50GHz

内存：4G

磁盘：42.9GB

操作系统：CentOS Linux release 7.2.1511 (Core)

内核：3.10.0-693.21.1.el7.x86_64

软件环境：java1.8

yum -y install j