XuanAlex的博客

一、开发WordCount程序Java示例代码package com.lj.sparkcore;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.a...

1、Spark是什么？ Spark是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎以及Storm流式实时计算引擎等。 Spark包含了大数据领域常见的各种计算框架：比如Spark Core用于离线计算，Spark SQL用于交互式查询，Spark Streaming用于实时流式计算，Spark MLlib用于机器学习，Spark GraphX用于图...

一、Spark基本工作原理分布式主要基于内存（少数情况基于磁盘）迭代式计算画图详解Spark的工作原理，如下：二、RDD以及其特点RDD是Spark提供的核心抽象，全称为Resillient Distributed Dataset，即弹性分布式数据集。RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，分为多个分区，每个分区分布在集群中的不同节点上，从而让RDD中的数...