he582754810的博客

由于Hadoop的伪分布式环境已经搭建好，下面就是部署Spark 1.去官网下载Spark。     我是下载的最新版spark-2.1.0-bin-hadoop2.7.tgz。 2.解压至安装路径。    我是安装在/usr/local/目录下，所以执行下面命令 。 3.配置环境变量。 export SPARK_HOME=/usr/local/spark-2.1.0-b

1.spark执行机制总览      在Spark的底层实现中，通过RDD进行数据的管理，RDD中有一组分布在不同节点的数据块，当spark的应用在对这个RDD进行操作时，调度器将包含操作的任务分发到指定的机器上执行，在计算节点通过多线程的方式执行任务。一个操作执行完毕，RDD变转换为另一个RDD，这样，用户的操作依次执行。Spark为了系统的内存不至于快速用完，使用延迟执行的方式执行，即只有操

1.下载sbt安装包 下载地址：http://www.scala-sbt.org/download.html 2.解压文件 tar zxvf sbt-0.13.13.tgz 3.建立启动sbt的脚本文件 在./sbt目录下面新建文件名为sbt的文本文件 $ cd ./sbt $ vim sbt # 在sbt文本文件中添加如下信息： BT_OPTS="-Xms512M -X