浏阳河

在牛逼的项目也扛不住，断电断网的折腾，果断数据丢失，恢复重启。 1. 项目中hadoop可以正常启动，但是hbase不能启动了，但是hbase的master可以单独启动的。2.先看看 hadoop管理界面吧：从这里看使用数据块的丢失，再“hadoop fsck /” ，没错31个blocks corrupt了。3.再看看 “hbase hbck” ：4.怎么办呢

1：添加节点A：新节点中添加账户，设置无密码登陆B：Name节点中设置到新节点的无密码登陆C：在Name节点slaves文件中添加新节点D：在所有节点/etc/hosts文件中增加新节点（所有节点保持一致）E：在新节点中执行./bin/hadoop-daemon.sh start datanode./bin/hadoop-daemon.sh sta

为了简化命令行方式运行作业，Hadoop自带了一些辅助类。GenericOptionsParser是一个类，用来解释常用的Hadoop命令行选项，并根据需要，为Configuration对象设置相应的取值。通常不直接使用GenericOptionsParser，更方便的方式是：实现Tool接口，通过ToolRunner来运行应用程序，ToolRunner内部调用GenericOptionsPars

今天遇到一个问题，hbase客户端写入hbase报错如下：ERROR: Region { meta => tr_image,A21ML90210111\x00\x00\x01Q,1451765854574.21820d2ed2a501a99300f2c74367d954., hdfs => hdfs://cluster1/hbase/data/default/tr_image/21820d2ed2a501a99300f2c74367d954, deployed => } not deployed on

最近搞了一个从hdfs中导出数据到本地磁盘上，结果数据块太多程序跑一会就因为某个块数据损坏而报错失败。其实我希望的是能恢复多少恢复多少，忽略错误的块文件。这里说两个配置项1. mapred.map.max.attempts 默认4 map时报错重试几次，在这里我就设置1，,错就错了别耽误时间2.mapred.max.map.failures.percent 默认0 map报错以后容忍报错的map百分比，这里我设置了50，不怕错错就错呗。可是使用 -D mapred.map.max.atte

使用mapreduce读取hfile这里主要说是hbase提供的一个HFileScanner的使用。以下代码使用HFileScanner写一个inputformat

hadoop之fsimage和edits工作机制和元数据namenode宕机恢复