changshuchao的博客

文章目录1. RDD自身容错性2. checkpoint机制**2.1 问题****2.2 描述****2.3 总结****2.4 Cache（persist）原理 源码分析**2.4.1 Spark示例2.4.2 分析2.4.2.1 persist()分析2.5 读取缓存/checkpoint原理分析详细分析附录1. RDD自身容错性RDD的Lineage记录的是：粗颗粒度的特定数据Tran...

文章目录前言1. 执行start-master.sh脚本1.1 源码分析1.2 图示2. 执行start-slaves.sh脚本2.1 源码分析2.1.1 Worker的main方法2.1.2 Worker执行onStart方法（内部发送消息去Master注册）2.1.3 Master收到RegisterWorker消息2.1.4 Worker注册成功收到RegisteredWorker消息2.1...