C_FuL的博客

架构图在此Spark Core部件解析 应用程序(Application): 基于Spark的用户程序，包含了一个Driver Program 和集群中多个的Executor； 驱动程序(Driver Program): 运行Application的main()函数并且创建 SparkContext. 通常用SparkContext代表Driver Program 执行单元 (Executor):

什么是RDD? 弹性分布式数据集分布在不同集群节点的内存中 可以理解成一大数组 数组的每一元素是RDD的一分区 RDD的每一分区是一数据块 一个RDD可以分布并被运算在多台计算机节点的内存及硬盘中 RDD代表了一系列数据集合分布在机群的内存中。SPARK CORE 的任务是对这些数据进行分布式计算。 RDD特性 RDD数据块可以放在磁盘上也可放在内存中(取决于设置) 如出现缓存失效或丢失，RDD的

Spark简介Spark可以独立于Hadoop单独运行Spark的设计理念 交互式和迭代式 在集群多点内存中运行的分布式计算 容错数据集合 同时Spark还支持使用不同的语言编程(Java,Scala,R,Python) 可以从不同的数据源获取数据(HDFS,Cassandra,HBase) 实现不同的功能Spark Core, Spark SQL, Spark Streamin