闪客

1. Hadoop的三种集群搭建方式Hadoop支持以下三种模式的Hadoop集群：(1)  单机模式相当于没有HDFS文件系统，只是支持MapReduce(2)  伪分布式模式相当于只有一个节点的集群。主从节点都位于同一主机，从MapReduce层面来看，也就是Jobtracker与TaskTracker位于同一节点；从文件系统的角度来看，也就是NameN

原文地址：http://zy19982004.iteye.com/blog/2024467 一.自己搭建开发环境     今天自己搭建了一套Centos5.3 + Hadoop2.2 + Hbase0.96.1.1的开发环境，Win7 Eclipse调试MapReduce成功。可能是版本比较高的原因，出了问题，网上找不到完整解决方案，只能靠自己。 二.Hadoo

我们知道hadoop集群具有容错性，分布式等特点，为什么会具有这些特点，下面是其中原理之一。分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。    具体到H

Hadoop对于压缩格式的是透明识别,我们的MapReduce任务的执行是透明的，hadoop能够自动为我们 将压缩的文件解压，而不用我们去关心。　　如果我们压缩的文件有相应压缩格式的扩展名(比如lzo，gz，bzip2等)，hadoop就会根据扩展名去选择解码器解压。压缩格式 工具 算法 文件扩展名 多文件 可分割性 DEFLATE 无 DEFLATE .deflate 不 不