
hdfs
文章平均质量分 62
Andy-Hadoop
Apache Hadoop geeker。毕业于华北理工计算机系,研究领域分布式计算,大数据,数据挖掘,机器学习,算法。曾就职于58架构部,目前就职于主要进行大数据分析应用的Ptmind创业公司
展开
-
HDFS的坏盘相关的处理
一、坏盘的识别 hdfs不会直接和磁盘进行打交道的,它是通过 识别dfs.datanode.data.dir(dfs.data.dir)和yarn.nodemanager.local-dirs(mapred.local.dir)两个属性所指定的目录的可用性来间接识别磁盘的可用性的,一般情况下一个目录会单独对应着一个磁盘。Hdfs认为目录或者磁盘是有效的标准为: 1. The specified原创 2017-02-19 08:59:38 · 4680 阅读 · 0 评论 -
hdfs中snapshot的解释
一、snapshot的定义: snapshot是hdfs的整个文件系统,或者某个目录在某个时刻的镜像。该镜像并不会随着源目录的改变而进行动态的更新。 二、使用snapshot可以解决的问题 (1)防止用户的误操作 管理员可以通过滚动的方式来对重要的目录进行创建snapshot的操作,这样在系统中就存在针对某个目录的多个快照版本。当用户误删除掉某个文件时,可以通过最新的snapshot来进行相原创 2017-02-19 11:17:21 · 3191 阅读 · 1 评论