【Reading】2013-10，11，12

最新推荐文章于 2021-10-21 20:02:40 发布

原创最新推荐文章于 2021-10-21 20:02:40 发布 · 788 阅读

0 ·

CC 4.0 BY-SA版权

文章探讨了Hadoop及其MapReduce模型的局限性和优势，强调了Hadoop在数据存储和处理上的灵活性，同时指出了它并非适用于所有场景。

http://www.chrisstucchio.com/blog/2013/hadoop_hatred.html

http://www.forbes.com/sites/ciocentral/2013/10/09/dont-use-hadoop-your-stovepipe-still-works/

第一篇文章声称MapReduce的表达能力有限，很多问题用MapReduce进行抽象就像穿了紧身衣一样。Hadoop的唯一好处是scalability。此文触发了大讨论，评论非常的热闹。第二篇文章对前文进行了评论，赞同不应该滥用Hadoop，但认为其对MapReduce和Hadoop的攻击有点欠妥，并随即列出了几点关于使用Hadoop的优势。

个人感想：除了scalability之外，我感觉Hadoop的另外一个特性是flexibility. 本质上就是以上提出来的，decoupling of storage and processing. 以RDBMS为例，如果你要用SQL来process数据，首先你必须将数据依照关系模型来抽象，而且数据存储前必须有明确的schema定义。而如果用Hadoop，你可以用任意格式来存储数据，也不需要预先定义固定的schema。不管数据存储形式如何，在处理数据时，都是用统一的编程模型MapReduce(有了YARN之后，数据处理的编程模型也开始多样化了)，而且可以用不同的编程语言。对我来说，Hadoop框架带来的这点灵活性也是不可忽视的。比如我之前做一个数据处理的任务，与其自己定义一种数据格式和数据处理模型，还不如利用Hadoop提供的框架来实现。这样当数据规模小时，直接以local或pesudo-distributed模式跑，万一以后数据规模变得很大，直接转到distributed cluster模式。

http://hortonworks.com/blog/announcing-beta-release-of-apache-hadoop-2/

http://hortonworks.com/blog/apache-hadoop-2-is-ga/

8月底，Arun Murthy在Hortonworks blog上宣布Hadoop V2 Beta版本后不到两个月，GA版本正式推出，大日志。

http://www.thoughtworks.com/pt/insights/blog/hadoop-or-not-hadoop

这篇文章提出了几种case，不适合采纳Hadoop。不过，基本上整个社区都在努力改善这些方面。