lileizhang的专栏

1.hadoop分为三种部署方式，分别为单机，伪分布式和集群部署

1.下载解压1.下载hadoop1.2.1 http://apache.fayea.com/hadoop/common/hadoop-1.2.1/  hadoop-1.2.1.tar.gz 61M2.下载eclipse4.4.2  http://www.eclipse.org/downloads/   Eclipse IDE for Java Developers, 155M3.下

50010-1425095741370. Node 192.168.0.22:50010 is expected to serve this storage.org.apache.hadoop.hdfs.protocol.UnregisteredDatanodeException: Data node 192.168.0.153:50010 is attempting to report sto

HDFS的设计基础和目标:1.硬件错误是常态，因此需要冗余2.流式数据分析，即数据的批量读取而非随机读写，hadoop擅长做的是数据分析而不是数据处理3.大规模数据集4.简单一致性模型。为了降低系统复杂度，对文件采用一次性写多次读的逻辑设计，即是文件一经写入，关闭，就再也不能修改5.程序采用‘数据就近’原则分配节点执行Namenode1.管理文件系统的命

运行Hadoop程序时，有时候会报以下错误：org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Namenode is in safe mode这个错误应该还满常见的吧（至少我运行的时候是这样的）那我们来分析下这个错误，从字面上来理解：Name node is

转自：http://blog.sina.com.cn/s/blog_893ee27f0100zoh7.html很多情况下遇到类似问题hadoop datanode 问题 INFO org.apache.hadoop.ipc.RPC: Server at /:9000 not available yet, Zzzzz..本以为这个样子就大功告成了，然后我用bin/hadoop

1.MapReduce是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（化简）”，及他们的主要思想，都是从函数式编程语言借来的，还有从矢量编程语言借来的特性。[1]当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（化简）函数，用来保证所有映射的键值对中的每一个共享相同的键组。

尝试进入大数据领域开发，从目前最火的Hadoop入手是必须的，本文一步步记录了 Ubuntu 环境安装Hadoop 1.2.1 ,搭建单机模式以及伪分布式模式，希望对各位和我一样的菜鸟有所帮助，共同学习进步，欢迎交流。尝试2.1安装失败，由于文件结构不太一样缺乏相关资料，也非做运维的，遂放弃改用成熟的hadoop 1.2.1版本。------------------------------

http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/

国外、国内Hadoop的应用现状2015-04-23 大数据摘要：Hadoop是一个开源的高效云计算基础架构平台，其不仅仅在云计算领域用途广泛，还可以支撑搜索引擎服务，作为搜索引擎底层的基础架构系统，同时在海量数据处理、数据挖掘、机器学习、科学计算等领域都越来越受到青睐。本文将讲述国外、国内Hadoop的主要应用现状。国外Hadoop的应用现状1.Yah