“为什么很多公司都采用Hadoop方案处理大数据业务”,引来很多回答,笔者整理如下,其观点或有时而可商,欢迎讨论。
先说一说什么样的公司比较倾向于使用Hadoop。有人认为,使用Hadoop的前提是自身有没有收集并分析数据的需要,并且数据量是否一直在增长并且不可丢弃。
目前看起来,此类数据多数为日志数据,分析用户习惯,或者就是传感器之类的数据,分析环境等监控内容的变化规律。也有很多公司不使用Hadoop,比如多 数从事政府行业或者部分企业系统开发的公司,他们对系统的易部署及易维护性要求更高,虽然也会遇到一部分数据量较大,不过通常使用NoSQL数据库就能够 满足需要了,很少使用Hadoop。
这又回到了一句老话,任何技术,都是为了解决问题而存在的,没有必要为了技术而技术!
那么,使用Hadoop的公司为什么选择Hadoop呢?选择Hadoop,其实是选择的的MapReduce,把大块的任务切分为若干份小任务,由集群的每台服务器来计算,最后把结果合并。
有人认为,主要有三点:1,可以解决问题; 2,成本低 ; 3,成熟的生态圈。
一、Hadoop为大数据而生
在那个没有Hadoop的时代,大家是怎么处理大量数据的呢?IBM的大型机是一个很不错的解决方案。
中国的银行系统目前很大一部分还在大型机上。但是大型机太贵了,实在是太贵了。
于是Google来了,经过谨慎的思考,Google的工程师们发现实际上使用一个简单得分布式计算模型MapReduce就能完成他们的需求。然后他们就搞了一个MapReduce。然后就写了几篇关于这种计算方法的论文。
有了思想,而且有了Google这么大数据量的数据验证,复制技术就很容易了。于是大家就开始搞,然后大家就搞出来一个Hadoop。而且Hadoop是Apache 下的项目,正