mcdull213的博客

概述 Yarn的设计目标就是允许我们的各种应用以共享、安全、多租户的形式使用整个集群。 YARN主要有以下几个部分组成： Global ResourceManager，系统中资源分配的老大(Boss),主要由两部分：Scheduler and ApplicationManager。 1.1 Scheduler：是ResourceManager专门进行资源管理的一个组件，负责分配NodeManag...

一、Hadoop是什么？ Hadoop是分布式系统基础架构； 主要包括HDFS(分布式文件系统)、YARN(资源调度系统)、MapReduce(分布式计算框架)三部分构成。 二、Hadoop能干什么？ 使用户可以在不了解分布式底层细节的情况下,开发分布式程序； 充分利用集群的威力，进行大规模数据的高速运算和存储。 三、Hadoop HA(zk、ssh已配置好) 3.1机器规划 ...

一、 主从结构 1.1主节点：NamenNode 接收用户操作请求 维护文件系统的目录结构 管理文件与block之间关系，block与datanode之间关系 1.2 从节点：DataNode 存储文件 文件被分成block存储在磁盘上 为保证数据安全，文件会有多个副本 1.3 Secondary NameNode： 合并fsim...

一、YARN是什么 YARN是Hadoop的核心组件之一 主要负责资源的管理(将系统资源分配给集群中运行的各种运行程序)和作业的调度(调度在不同的节点上执行的任务) YARN的基本思想是将资源管理和作业调度分解为单独的daemon Yarn的设计目标就是允许我们的各种应用以共享、安全、多租户的形式使用整个集群 二、YARN的架构 YARN总体上是主/从结构，RM为master，NM为sl...

1、输入分片(Input Split)： 在进行map计算之前，mapreduce会根据输入文件计算输入分片，每个输入分片针对一个map任务，输入分片存储的并非数据本身，而是一个分片长度和一个记录数据位置的数据。输入分片往往和hdfs的block关系密切，假如我们设定hdfs块的大小是64mb，如果我们输入三个文件，大小分别是3mb、65mb和127mb，那么mapreduce会把3mb文件作为...

1、 hadoop中的压缩格式 压缩格式 文件扩展名 是否可分割 压 缩 比 由 高 到 低 压 缩 时 间 由 长 到 慢 BZIP2 .bz2 是 GZIP .gz 否 LZO ...