zhouleilei的专栏

Hadoop HDFS 与Hbase升级笔记由于之前使用了hadoop1.0.2，hbase 使用的是hbase-0.92.1 但是一次事故导致元数据丢失，且修复元数据的类本身有BUG 所以摆在眼前的只有两条路：1、修改hbase源码重新编译 hbase 修复BUG 2、升级到下一个版本，且这个版本已经修复了此BUG 从release node中看到 0.92.2及以后版本均修复了

1、认识MapReduce     MapReduce 是一种可用于数据处理的编程模型，有一下特点:     编程模型简单，但业务实现不一定简单；     Hadoop可以运行各种该语言编写的MapReduce程序，如java,python 等，很多企业为求开发效率采用python来开发MapReduce程序；     MapReduce 程序是并行运行的，所以又叫批处理程序。

0、前言：     不做过多介绍Hadoop 网上比比皆是，每本书买来一看，第一张都是千篇一律，本文不做过多阐述，希望将此文建立在对hadoop有些了解的基础上，本文的总体流程是，先提出一个subject，然后根据关联将相关联的概念参数一并带出，虽整体不美观，但有助于将相关知识汇总记忆。1、Hadoop 版本图:          第一个大的主线是社区版的Hadoop路线图，200

HDFS的概念1、数据块     HDFS跟磁盘一样也有块的概念，磁盘上块的大小一般为512字节，而文件系统的块则一般是磁盘块的整数倍，比如我当前centos块的大小事4096 也就是4K，而HDFS块的大小由参数dfs.block.size 设定默认是64M,但是与单一磁盘文件系统相似，HDFS上的文件也被分为块大小的多个分块(chunk)。     为什么HDFS中的块如此之大？

初级文章，请勿喷，多提意见

说在前面,本文部分内容来源于社区官网经过适度翻译，部分根据经验总结，部分是抄袭网络博文，(不一一列举引用，在此致歉)一并列在一起，本文的目的，希望能总结出一些有用的，应该注意到的东西，基本思路是先提出一个话题，在此话题内，把相关联的东西加进去，而不是单独分出章节单独介绍，虽然条理性欠差，但有利于后期根据关键词查找。    Apache HBase 是Hadoop database的简称，h

转自：http://blog.sina.com.cn/s/blog_893ee27f0100zoh7.html很多情况下遇到类似问题hadoop datanode 问题 INFO org.apache.hadoop.ipc.RPC: Server at /:9000 not available yet, Zzzzz..本以为这个样子就大功告成了，然后我用bin/hadoop

具体格式如下：hadoop archive -archiveName name.har -p src desthadoop  archive -archiveName 20130312.har -p /flume/loginlog/20130312 loglog/这样如果mapreduce 中要指定路径的话，必须明确指定 har 文件如 hadoop jar aaa.jar

看到这个错误，我们就首先应该想到hadoop 的配置参数dfs.datanode.max.xceivers 那这个错误到底是什么错误呢？这个错误是指hadoop上同时运行的线程数不能超过256 也就是dfs.datanode.max.xceivers 的默认值，当使用hbase的时候，这个值很容易就达到了，因为datanode 在写操作时，到文件块的每个打开的连接都会使用一个线程。所以

hadoop1 升级到hadoop2 借用别人的步骤，在时间中做了细化说明，希望对升级的玩家起到一定的辅助作用