落幕7的博客

文章目录Spark面试八股文1. Spark 的运行流程？ 1. Spark 的运行流程？ Spark运行流程 具体运行流程如下： 1. SparkContext 向资源管理器注册并向资源管理器申请运行 Executor 2. 资源管理器分配 Executor，然后资源管理器启动 Executor 3. Executor 发送心跳至资源管理器 4. SparkContext 构建 DAG 有向无环图 5. 将 DAG 分解成 Stage（TaskSet）

hadoop 中常问的就三块，第一：分布式存储(HDFS)；第二：分布式计算框架 (MapReduce)；第三：资源调度框架(YARN) 文章目录1. 请说下 HDFS 读写流程2. HDFS 在读取文件的时候，如果其中一个块突然损坏了怎么办3. HDFS 在上传文件的时候，如果其中一个 DataNode 突然挂掉了怎么 办4. NameNode 在启动的时候会做哪些操作5. 对Secondary NameNode 了解吗，它的工作机制是怎样的6. Secondary NameNode 不能恢复 Name.