唐豌豆的博客

文章目录一、MR的整体执行流程图二、MR的整体执行流程：（Yarn模式）map task逻辑运算过程shuffle过程reduce task 逻辑运算过程 一、MR的整体执行流程图 二、MR的整体执行流程：（Yarn模式） client申请作业，Yarn系统返回一个jobid 客户端程序在**submit()**方法执行前，获取待处理的数据信息，然后根据集群中的参数的配置形成一个任务分配规划（jar包、Configuration信息、InputSplit分片信息），客户端上传任务分配规划，到相应的HDF

写在前面：可先去看这篇文章《Hadoop生态剥茧抽丝（一），【中枢神经】Yarn的job流程》 文章目录一、hdfs写数据流程简化流程流程图二、hdfs读数据流程简化流程：读数据流程图三、名词NameNode(Master)在HDFS中：DataNode(slave)：实际存储数据块的节点，执行数据库的读写操作SecondaryNameNode作用：四、常见问题① NameNode的启动过程？第一阶段：NameNode启动第二阶段：Secondary NameNode工作② 集群的安全模式？：只支持访问元数

文章目录1、Hadoop集群管理脚本① 作用：② 使用范式：hadoop [-config confdir] COMMAND2、常用命令① hdfs创建目录\复制目录② hdfs上传文件（-put）和下载(-get/-copyToLocal)，剪切（-moveFromLocal从本地剪切文件到HDFS\-moveToLocal 从HDFS剪切文件到本地）③ 追加append\合并下载-getmerge④ hdfs查看文件内容（cat）⑤ hdfs查看目录及目录下的文件⑥ hdfs删除文件/目录⑦ 获取更多