念陌曦的博客

在 MapReduce 框架中， Shuffle 阶段是连接 Map 与 Reduce 之间的桥梁， Map 阶段通过 Shuffle 过程将数据输出到 Reduce 阶段中。由于 Shuffle 涉及磁盘的读写和网络 I/O，因此 Shuffle 性能的高低直接影响整个程序的性能。Spark 也有 Map 阶段和 Reduce 阶段，因此也会出现 Shuffle。

下图展示Spark的五种连接计算方式，默认连接策略为ShuffleSortMergeJoin，适合大规模数据且无需广播，连接策略的选择核心在JoinSelection 类实现。左深树(Left-Deep Tree)：树形结构向左倾斜，Join节点的右侧只能是叶子节点，很多数据库默认将左深树作为Join Reorder的搜索空间。右深树(Right-Deep Tree)：树形结构向右倾斜，左深树的镜像，Join节点的左侧只能是叶子节点。连接树(Join Tree)是一个二叉树，刻画每个表的Join顺序，

select函数选择DataFrame的一列或者多列，返回新的DataFrame。

打开 Spark UI，首先映入眼帘的是默认的 Jobs 页面。Jobs 页面记录着应用中涉及的 Actions 动作，以及与数据读取、移动有关的动作。其中，每一个 Action 都对应着一个 Job，而每一个 Job 都对应着一个作业。可以看到，导航条最左侧是 Spark Logo 以及版本号，后面则依次罗列着 6 个一级入口。每个入口的功能与作用如下的表格介绍序号入口页内容作用1JobsActions以及数据的读取与移动操作作业详情概览DD2Stages。