
hadoop
数据猿+
这个作者很懒,什么都没留下…
展开
-
hadoop中FsImage与Editslog合并解析
FsImage和Editslog分别是什么 ?Editslog :保存了所有对hdfs中文件的操作信息 FsImage:是内存元数据在本地磁盘的映射,用于维护管理文件系统树,即元数据(metadata)在hdfs中主要是通过两个数据结构FsImage和EditsLog来实现metadata的更新。在某次启动hdfs时,会从FSImage文件中读取当前HDFS文件的metadata,之后对H...原创 2018-05-18 17:46:43 · 6427 阅读 · 2 评论 -
浅谈hadoop脑裂问题
1.什么是脑裂:脑裂是Hadoop2.X版本后出现的全新问题,从字面意思我们可以理解为“大脑分裂”;我们想一下,当一个正常人,突然出现有了两个大脑,而且这两个大脑都有自己的意识,对于这个人来说肯定是灾难性问题。同理,在Hadoop中,为了防止单点失效问题而出现了两个namenode(HA机制),这两个namenode正常情况下是起到一个失效,另一个代替的作用,但在实际运行过程中很有可能出现两个...原创 2018-07-21 11:57:47 · 4134 阅读 · 1 评论