spark的容错，检查点，共享变量的概念浓缩总结

一、容错

Spark选择记录更新的方式。但是，如果更新粒度太细太多，那么记录更新成本也不低。因此，RDD只支持粗粒度转换，即只记录单个块上执行的单个操作，然后将创建RDD的一系列变换序列（每个RDD都包含了他是如何由其他RDD变换过来的以及如何重建某一块数据的信息。因此RDD的容错机制又称“血统(Lineage)”容错）记录下来，以便恢复丢失的分区。

二、Checkpoint

Checkpoint算子来做检查点，不仅要考虑Lineage是否足够长，也要考虑是否有宽依赖，对宽依赖加Checkpoint是最物有所值的。

三、检查点（本质是通过将RDD写入Disk做检查点）是为了通过lineage做容错的辅助，lineage过长会造成容错成本过高，这样就不如在中间阶段做检查点容错，如果之后有节点出现问题而丢失分区，从做检查点的RDD开始重做Lineage，就会减少开销。

四、在做checkpoint的时候不是把当前的RDD的数据直接放到指定的目录中去。而是重新计算一边再放到目录中。如果重新计算当前RDD要比缓存的开销大,那么在做checkpoint之前先做cache,是更好的选择。

五、设置checkpoint的步骤

1. jsc.setCheckpointDir("E:\\checkpoint");  设置检查点目录

2. javaPairRDD.cache();  避免重新计算(不是必须的)

3. javaPairRDD.checkpoint();  设置检查点,可以设置多个

六、共享变量

1. Boastcast 如果数据要分发到多个节点的多个位置上,就需要复制多个副本;使用广播变量可以使数据在一个共享的位置上,节省了跨磁盘访问和资源。

2. Accumulators

集群上正在运行的任务就可以使用 add 方法来累计数值。然而，它们不能够读取它的值。只有 driver program（驱动程序）才可以使用 value 方法读取累加器的值。

在8080页面上找到当前的appID--->Application Detail UI--->点击当前的action动作----->在页面的下方可以找到task和Accumulators的信息,只有在程序运行过程可以查看。