xlkdxes的博客

MapReduce应用场景、原理与基本架构（理论部分）预习笔记一、MapReduce设计思想与特色MapReduce是分布式计算框架，其设计思想是将文件切分后，发送到多个不同的节点上分别进行计算，如下图所示：可以看到存储在HDFS上的数据被切分成split后进行MapReduce并输出到HDFS上。采用MapReduce有如下优点：易于编程（多种语言接口）具有良好的拓展性具有高容错性适合PB级以上的海量数据的离线处理当然也有如下缺点：无法实现实时计算无法进行流式计算无法进行

Hadoop 2.0 Yarn原理预习笔记（一）Yarn基本组件Yarn主要是由4个组件组成的，分别是ResourceManager，NodeManager，ApplicationMaster和Container。ResourceManager（RM）它负责处理客户端的请求，对各NodeManager上的资源进行统一管理和调度，给ApplicationMaster分配空闲的container运行并监控其运行状态，主要功能由内置的两个组件完成：（1）调度器（Scheduler）调度器根据容量

第二讲 HDFS部署、原理与基本框架（实践部分）实践部分（Shell命令）一、文件命令（fs）二、管理命令（dfsadmin）三、文件管理工具命令（fsck）四、数据均衡器（balancer）问答题第二题请在你搭建的 HDFS 集群上按照以下流程操作，并写出对应的 shell 命令和执行结果：（1） 描述你的Hadoop集群环境，比如几个节点，这些节点的角色（是Client、Namenode还是 DataNode）分别是什么？（2） 在 HDFS 上创建目录 /home/[yournam

第二讲 HDFS部署、原理与基本框架预习笔记

第一讲 Hadoop概述及生态圈预习笔记