hadoop学习(mac 上安装 hadoop伪分布式以及hadoop的eclipse插件)

mac上安装 hadoop

http://andy-ghg.iteye.com/blog/1165453

安装后运行

bin/hadoop namenode -format 

抛出一个warn:

2012-06-29 23:28:25.852 java[3256:1903] Unable to load realm info from SCDynamicStore

网上找到相同问题的解决方法

http://gauss-deng.iteye.com/blog/1370295

但是还是有问题，看到的是：

DFS Used%

:

100%

后面解决了ssh 无密码登录 后就没问题了，下面是配置无密码ssh登录的文章

http://book.51cto.com/art/201110/298592.htm

有时在执行bin/stop-all.sh的时，提示”no datanode to stop”.说明一开始datanode启动失败。后来发现，每次在bin/hadoop namenode -format的时，没有把/tmp/hadoop上次的临时的数据清除，导致这次启动失败。
解决方法:
sudo rm -rf /tmp/*(只要把hadoop的临时文件删除就行)


在eclipse上运行还是抛出异常

2012-06-30 18:36:44.805 java[12090:1c03] Unable to load realm info from SCDynamicStore

暂时未解决

搞定了。。。原来eclipse运行时是jdk1.7,改为1.6后运行就没问题了。yesh!

合并hdfs上文件到本地文件系统

hadoop官方文档

http://hadoop.apache.org/common/docs/r0.20.203.0/cn/index.html

Map-Reduce入门

Hadoop 学习总结之一：HDFS简介

Hadoop学习总结之四：Map-Reduce的过程解析

hbase介绍

http://www.tbdata.org/archives/1509