Java_KW的博客

文章目录一、Spark运行架构1.1 运行架构1.2 核心组件1.3 组件简单展示1.3.1 简单传输1.3.2 传输逻辑运算以及数据1.3.3 分布式计算1.4 核心概念二、Spark核心编程2.1 RDD弹性分布式数据集2.1.1 RDD 和 IO流2.1.2 RDD的特点2.1.3 RDD 核心属性2.1.4 RDD执行原理2.2 RDD基础2.2.1 RDD创建2.2.2 RDD 并行度与分区内存数据文件数据2.3 RDD 方法2.3.1 RDD转换算子2.3.1.1 Value类型2.3.1.2

Spark基本概念一、什么是SparkApache Spark是用于大规模数据处理的统一分析引擎。Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。Spark框架是基于Scala语言编写的。二、Spark 和 HadoopSpark和Hadoop有什么关系？从功能上来说：HadoopHadoop是由java语言编写的，在分布式集群当中存储海量数据，并运行分布式应用的开源框架作为 Hadoop 分布式文件系统，HDFS处于Hadoop生态圈的最下层，存储着所有的数据