zbuger的博客

vmware8中装了两个centos6.5，其中一个搭建了hadoop-1.1.2，伪分布式，在centos上可以访问自己的 localhost:50070,但是在另一台centos上和windows下，不能访问。之前已经将装了hadoop的centos防火墙关闭了，能ping通，就是不能用域名:端口号访问。装了hadoop的centos是可以访问我在windows下搭建的apache的，就是下一

在看hadoop的源代码的时候，看到hadoop实现了一个自定义的RPC，于是有了自己写代码实现RPC的想法。RPC的全名Remote Process Call，即远程过程调用。使用RPC，可以像使用本地的程序一样使用远程服务器上的程序。下面是一个简单的RPC 调用实例，从中可以看到RPC如何使用以及好处： Java代码  public class Ma

先留着

源地址：http://caibinbupt.iteye.com/blog/280790Hadoop源代码学习（完整版）Hadoop源代码分析（一）HadoopMapreduceGoogleHBaseFacebook 经济不行啦，只好潜心研究技术。 Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章，介绍

1、数据去重　　 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述　　对数据文件中的数据进行去重。数据文件中的每行都是一个数据。　　样例输入如下所示：     1）file1： 

我们的需求是想统计一个文件中用IK分词后每个词出现的次数，然后按照出现的次数降序排列。也就是高频词统计。由于hadoop在reduce之后就不能对结果做什么了，所以只能分为两个job完成，第一个job统计次数，第二个job对第一个job的结果排序。 第一个job的就是hadoop最简单的例子countwords，我要说的是用hadoop对结果排序。 假设第一个job的结

整体组织为一个master，三个slavemaster：namenode ，jobtracker，secondarynamenodeslave：datanode，tasktracker在master上执行start-all.sh在master:50070上可以看到只有两个datanode存活然后在没启动成功的datanode上单独启动，再在master：50070上发现新启动的上去