leveretz的博客

规划cancer01 master/workercancer02 workercancer03 workercancer04 workercancer05 worker准备su hadoop安装scala每台机器上cd /usr/localtar zxf scala-2.13.4.tgzmv scala-2.13.4 scalachown -R hadoop:hadoop scalavim /etc/profileexport SCAL..

规划cancer01 master/workercancer02 workercancer03 workercancer04 workercancer05 worker 准备su hadoop 安装scala每台机器上cd /usr/localwget http://downloads.lightbend.com/scala/2.11.8/sca

Spark 是UC Berkeley AMPLab于2009年发起的，然后被Apache软件基金会接管的类Hadoop MapRe鄄duce通用性并行计算框架，是当前大数据领域最活跃的开源项目之一。Spark是基于MapReduce计算框架实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是中间输出和结果可以保存在内存中，从而不再需要读写HDF