2018年互联网大数据之大数据潮流的主先锋Spark集群安装与部署

首先，跟大家简单说一下什么是大数据，没有百度的复杂，就是我自己总结的，有什么不对的地方，请大家指教！

1、何为大数据？

大数据就是短时间内，快速产生大量的多种多样的有价值的数据。

2、Spark是什么？

Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算，提高了在大数据

环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大

量廉价硬件之上，形成集群。

3、Spark集群的安装与部署

Spark在生产环境中，主要部署在安装有Linux系统的集群中。在Linux系统中安装

Spark需要预先安装JDK、Scala等所需的依赖。由于Spark是计算框架，所以需要预先在

集群内有搭建好存储数据的持久化层，如HDFS、Hive、Cassandra等。最后用户就可以通

过启动脚本运行应用了。

3.1在Linux集群上安装与配置Spark

3.1.1 安装JDK

3.1.2 安装Scala

3.1.3 配置SSH免密码登录

3.1.4 安装Hadoop

3.1.5 安装Spark

3.1.6 启动集群

3.2在Windows上安装与配置Spark

3.2.1 安装JDK

3.2.2 安装Cygwin

3.2.3 安装sshd并配置免密码登录

3.2.4 配置SSH免密码登录

3.2.5 配置Hadoop

3.2.6 配置Spark

3.2.7 运行Spark

PS:大家有什么想要分享的内容！可以在评论下方留言！！！

❤如果需要更多有关资料，请在下方留言后私信小编！

❤图文均为原创，旨在分享！

❤如果觉得写得不错请点击“了解更多”！