qq_20519927的博客

知识点1: Spark 作业提交流程 1、Spark 客户端执行脚本提交任务，启动 SparkSubmit 的 JVM 进程。 2、Spark 客户端向 Yarn 客户端进行通信，Yarn 客户端收到指令后： （1）ResourceManager 会指定一个 NodeManager 开启 ApplicationMaster 进程。 （2）在 ApplicationMaster 进程里面开启 Driver 线程，执行用户的作业。 （3）ApplicationMaster 向 ResourceManager 注

（2021-04-20）Hadoop 常用端口号 Hadoop 2.x Hadoop 3.x HDFS 50070 9870 Yarn 8088 8088 HistoryServer 19888 19888

（2021-05-12）内部表和外部表的区别 应用场景 是否删除元数据 是否删除原始数据 内部表 临时使用的表 是 是 外部表 绝大多数表 是 否