本文详细介绍了Spark的发展历程、流行原因、与Hadoop的对比，以及Spark的特性。深入讲解了Spark Core中的RDD概念、API、持久化和容错机制。此外，还涵盖了Spark SQL、Spark Streaming、Structured Streaming、两种核心Shuffle、底层执行原理、数据倾斜优化和性能调优。文章最后列举了若干Spark大厂面试真题，全方位解析Spark的使用和理解。
本文目录：
一、Spark 基础
二、Spark Core
三、Spark SQL
四、Spark Streaming
五、Structured Streaming
六、Spark 两种核心 Shuffle
七、Spark 底层执行原理
八、Spark 数据倾斜
九、Spark 性能调优
十、Spark 故障排除
十一、Spark大厂面试真题
Spark涉及的知识点如下图所示，本文将逐一讲解：
一、Spark 基础
1. 激动人心的 Spark 发展史
大数据、人工智能( Artificial Intelligence )像当年的石油、电力一样， 正以前所未有的广度和深度影响所有的行业， 现在及未来公司的核心壁垒是数据， 核心竞争力来自基于大数据的人工智能的竞争。
Spark 是当今大数据领域最活跃、最热门、最高效的大数据通用计算平台之一。
2009 年诞生于美国加州大学伯克利分校 AMP 实验室；
2010
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
