码厦（微信号）

本文是根据spark官方英文文档进行翻译而来，英文出处http://spark.apache.org/docs/latest/index.html  1.spark概述 apache spark是一个快速、通用的集群计算系统，它提供了高层次的API文档，包含了Java、Scala、Python和R语言，同时还提供了一个优化后的通用的针对图计算的引擎。它提供了大量的计算工具，比如SparkSql

第十章:spark streaming 流数据处理框架 一。spark streaming程序的几个步骤 1.创建StreamingContext。sparkstreaming context和spark context创建区别不大，唯一要加的就是streaming context需要添加一个Seconds(1)，指定处理数据的时间间隔。就是batchDuration，而且该处理间隔一旦设定就

1.spark数据块block的种类有哪些？    RDD数据块：用来标识所缓存的RDD数据。   Shuffle数据块:用来标识持久化的shuffle数据。   广播变量数据块：标识广播变量数据   任务返回结果数据块：标识存储在存储管理模块内部的任务返回结果，如果通过akka返回到Driver端，会造成akka帧溢出。akka可以并发处理多客户端请求，以及不同机器节点之间的消息传递等。