c1523456的博客

首先说明一点就是我们这里凡是关键字都用英文原文表示，以表示其准确性NameNode和DataNodes NameNode是一个中心服务器，单一节点（简化系统的设计和实现），负责管理文件系统的名字空间（namespace）以及客户端对文件元数据的相关操作 datanode负责我们块数据的读取和写入操作数据块HDFS旨在支持非常大的文件。与HDFS兼容的应用程序是处理大型数据集的应...

关于hdfs的命令详解请参阅：HDFS Commands

导读伪集群的意思就是说我们可以在多台计算机上面安装hadoop，但是不具有高可用和共容错，这适用于开发环境。我们首先下载hadoop的安装包，我使用的cdh版本的5.14.0，你可以在该网址找到他，首先我们说一下hadoop的配置文件的分类：hadoop的配置文件可以分为两种类型的配置文件。一种是只读的默认配置如： core-default.xml, hdfs-default....

概览mapreduce总概览Hadoop MapReduce是一个软件框架容易写处理大量数据的并行应用程序运行在大的集群之上。MapReduce作业通常将输入数据集拆分为独立的块，这些块由map任务以完全并行的方式处理。框架对map的输出进行排序，然后输入到reduce任务。通常输入和输出都存储在文件系统之中。这个框架只关心tasks 调度，管理他们，以及重新执行失败的tasks。通常，...

本来想学习一下yarnAPI相关方面的学习，但是感觉自己的能力不够，所以而中道停止，现在记一下简单的概念。Yarm框架术语概览MRv2的基本思想是将JobTracker的两个主要功能，资源管理和作业调度/监视分成单独的守护进程。为实现这一结构我们的想法是拥有一个全局ResourceManager（RM）和每个应用程序ApplicationMaster（AM）。应用程序可以是传统意义上的Ma...