
hadoop
leiroliu
这个作者很懒,什么都没留下…
展开
-
HDFS2.x中Fimage文件和Edit.log文件的作用
在HDFS中,每一个文件块。都会有一条元数据用来唯一标识这个文件块的存在。而Fimage和edit.log这两个文件就是用来保存,处理这些元数据信息的文件。Fimage和edit.log文件元数据的特点:频繁操作,量大因为元数据需要频繁操作这个特点,所以要将元数据(MetaData)存放到内存中,以便于高速访问。但是由于内存(RAM随机存储器)的断电数据丢失的特性,因此在硬盘中需要有一...原创 2018-08-05 17:38:18 · 1607 阅读 · 0 评论 -
HDFS2.X流程
进程组成ResourceManager:yarn的主管角色(管理协调分配集群中的资源)NodeManager:yarn中的劳动者 用来启动和监视本地计算机资源单位Container的利用情况。NameNode: 元数据的处理者。 用来处理DataNode对它的各种请求。列如心跳活动,以及周期性注册等活动。SecondaryNameNode:元数据文件的合...原创 2018-08-05 17:25:50 · 322 阅读 · 0 评论 -
Hadoop学习笔记(一) 搭建一个Hadoop集群
在学习的Hadoop的的过程中,首先要做的就是建立一个Hadoop的的的集群。我在搭建的过程中,除了许多问题,然后不断的查找不断的百度,通过大量的实验。不知道废了多少组虚拟机终于成功了,下面就把我搭建的过程分享出来吧。1.下载的VMware,安装虚拟机我下载的是VMware12Pro,现在好像最新的是VMware14,你们也可以下载使用。下面直接给你们一条链接吧。下咱完成后点击安...原创 2018-08-23 22:07:57 · 255 阅读 · 0 评论