iteye_16235的博客

[img]http://dl.iteye.com/upload/attachment/0079/6346/349b8a2a-1e2d-319d-90eb-f62242f88e9f.png[/img]这几天有点时间想要分享一下我学习hadoop的一些经验，希望以此来给想要学习他的朋友们带来些帮助，文笔不够专业，希望广大朋友们多指点、拍砖。本系列使用 [b]hadoop 1.0.4 [...

http://v.youku.com/v_show/id_XNTA2MTg2NjI0.html视频是在我宝贝睡觉的时候录制，拍打扰他睡觉，所以没有声音。补发了一个有声版http://v.youku.com/v_show/id_XNTA3NjY5NjUy.html...

我们以《Hadoop权威指南》这本书上的例子，来分析一下，MapReduce是如何工作的。我们引用它分析气温的例子。这个例子还是非常经典的，我个人认为小缺点就是，没有对传统的程序是如何工作的进行对比，如果加入此项，它将是一个完美的东西，现在就让我们，来完美它。手写我们写一段Java程序，实现相同的功能,当然程序略加改动就可以分析最低气温，在改动一下，就可以高和低同时出现，废话了，呵呵。...

上面我们分析气温的那段程序，看起没有问题，用起来也没有问题。试想一下，如果我们把全球所有气象站的数据拿来分析， 你的程序大约需要多久能计算出结果？或者说能否完成运算？以前我们会把来自不同气象站的数据在不同时间，或者不同计算机上进行运算，最后把结果拿来，再次执行运算。有了MapReduce咱就不用这么麻烦了，MapReduce做了这样几件事：0、分布式并行1、他把输入和输...