早睡早起的Hadooper

首先需要明确的问题是：HDFS健康的标准是什么样的呢？ 如果所有的文件满足最小副本的要求，那么就认为文件系统是健康的。 （HDFS is considered healthy if—and only if—all files have a minimum number of replicas available） 如何检查HDFS的健康情况呢？ hadoop提供了fsck tool来对整个文

一、坏盘的识别 hdfs不会直接和磁盘进行打交道的，它是通过 识别dfs.datanode.data.dir（dfs.data.dir）和yarn.nodemanager.local-dirs（mapred.local.dir）两个属性所指定的目录的可用性来间接识别磁盘的可用性的，一般情况下一个目录会单独对应着一个磁盘。Hdfs认为目录或者磁盘是有效的标准为： 1. The specified

一、snapshot的定义： snapshot是hdfs的整个文件系统，或者某个目录在某个时刻的镜像。该镜像并不会随着源目录的改变而进行动态的更新。 二、使用snapshot可以解决的问题 （1）防止用户的误操作 管理员可以通过滚动的方式来对重要的目录进行创建snapshot的操作，这样在系统中就存在针对某个目录的多个快照版本。当用户误删除掉某个文件时，可以通过最新的snapshot来进行相

1、现象说明 早上，客户反映某些日期的历史数据查询不出来（我们系统将历史的汇总数据是保存到Hbase中），从查询端的日志看查询失败（查询端是erlang写的分布式查询引擎）。erlang是通过HBase提供的thrift 服务接口来查询hbase的，所以进一步去查看thrift server的日志信息，发现如下的错误： 备注：并不是所有的查询都失败，只有某些站点的某些日期的数据查询失败。2、问题