zl_8long的博客

关闭集群 关闭集群所有组件 关闭Cloudera Management Service 关闭cdh所有客户端节点 sudo /opt/cm-5.3.2/etc/init.d/cloudera-scm-agent hard_stop_confirmed 关闭cdh所有服务端节点 sudo /opt/cm-5.3.2/etc/init.d/cloudera-scm-server stop 启动集群 启动服务端 sudo /opt/cm-5.3.2/etc/init.d/clouder

YARN体系结构、原理、运行机制（1）- 简介 ResourceManager（RM） 全局的资源管理器，负责整个系统的资源管理和分配，它带了FIFO、Capacity Schedule、Fair Schedule三种常用调度器 NodeManager（NM） 每个节点上的资源和任务管理器，定时地向RM汇报本节点上的资源以及使用情况和各个Container的运行状态,接收并处理来自AM的Container启动/停止等各种请求。 ApplicationMaster（AM） 用户提交的每个应用程序均包含一个

HDFS体系结构、原理、运行机制（一）-简介 Namenode：维护着整个文件系统的文件目录树，文件/目录的元信息和文件的数据块索引，即每个文件对应的数据块列表；接收数据节 点的注册、心跳、数据块提交等信息上报，发送数据块复制、删除、恢复等名字节点指令 DataNode：将HDFS数据块写到Linux本地文件系统的实际文件中，并不断将当前存储的数据块(block)报 告给namenode,并接收namenode的指令来创建、删除、移动本地磁盘的数据块。 Block(数据块)：一个文件是被切分成多个Block