Cages的专栏

经过几天的测试，hadoop分布式系统搭建完毕。首先说一下这几天对hadoop理论知识的理解，然后说一下安装及碰到的问题。有图有真相http://192.168.0.20:50070/dfshealth.jsp   第一：理论知识：       什么是hadoop：         由三部分组成：HDFS，MapReduce和Hbase。         维基百科这样说：一个分布式系统

1.       Introduction to HDFS 1.1.     HDFS Concepts 1.1.1.      Blocks l         HDFS too has the concept of a block, but it is a much larger unit 64 MB by default. l         Like in a filesystem

环境配置 1、Eclipse 版本 3.6 2、Hadoop版本 0.20.2 1、将\hadoop-0.20.2\hadoop-0.20.2\contrib\eclipse-plugin\下的hadoop-0.20.2-eclipse-plugin.jar拷贝到eclipse-SDK-3.3.2-win32\eclipse\plugins\下。 2、启动eclipse，点击Windo

环境：redhat 4  三台、jdk 6u21、hadoop-0.20.2 （1）用root登陆,建立hadoop用户  useradd hadoop  passwd hadoop (2)分别在四台机器上运行二进制文件：./jdk-6u21-linux-x64-rpm.bin  (3)编辑四台机器的/etc/profile,增加如下内容 export  JAVA_

MapReduce流程分析 接触Hadoop已经1年了，一直没时间好好学习下。这几天打算好好研究下Hadoop.本来是想打算改写下TextInputFormat。看了源码后，反而更迷糊了。所以干脆连MapReduce的整个流程写下来。也当为这几天的学习作个总结。 先来一个我们常写的main函数。 Configuration conf = new Configuration();

今早一来，突然发现使用-put命令往HDFS里传数据传不上去了，抱一大堆错误，然后我使用bin/hadoop dfsadmin -report查看系统状态 admin@adw1:/home/admin/joe.wangh/hadoop-0.19.2>bin/hadoop dfsadmin -report Configured Capacity: 0 (0 KB) Present Capaci

方法1：:由于0.20.203.0以后的版本的权限认证引起的，只有去掉才行 修改hadoop源代码，去除权限认证，修改FileUtil.java的checkReturnValue方法，如下： private staticvoid checkReturnValue(boolean rv, File p, FsPermissionpermission ) throws IOException

LINUX下将hadoop-0.21自带的hadoop eclipse plugin放到eclipse dropins目录中无法正常运行，使用eclipse -consolelog 发现找不到hadoop的类，解压hadoop-0.21.0-eclipse-plugin.jar发现META-INF下的MANIFEST.MF文 件中，Bundle-ClassPath写的有问题，他写的是/lib/ha

1.     前言 本文的目的是让一个从未接触Hadoop的人，在很短的时间内快速上手，掌握编译、安装和简单的使用。 2.     Hadoop家族 截止2009-8-19日，整个Hadoop家族由以下几个子项目组成： 成员名 用途 Hadoop Common Hadoop体系最底层的一个模块，为Hadoop各子

添加节点 1.修改host    和普通的datanode一样。添加namenode的ip  2.修改namenode的配置文件conf/slaves    添加新增节点的ip或host  3.在新节点的机器上，启动服务  [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode[root@