大数据时代为什么都在谈Hadoop?

本文探讨了为什么许多公司在处理大数据业务时选择Hadoop。Hadoop因其为大数据而生的特性、低成本和成熟的生态圈而受到青睐。它通过MapReduce实现分布式计算,硬件和软件成本较低,开发和维护成本可控,且拥有丰富的生态系统。与传统数据库相比,Hadoop在扩展性方面具有显著优势。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

“为什么很多公司都采用Hadoop方案处理大数据业务”,引来很多回答,笔者整理如下,其观点或有时而可商,欢迎讨论。
先说一说什么样的公司比较倾向于使用Hadoop。有人认为,使用Hadoop的前提是自身有没有收集并分析数据的需要,并且数据量是否一直在增长并且不可丢弃。

目前看起来,此类数据多数为日志数据,分析用户习惯,或者就是传感器之类的数据,分析环境等监控内容的变化规律。也有很多公司不使用Hadoop,比如多 数从事政府行业或者部分企业系统开发的公司,他们对系统的易部署及易维护性要求更高,虽然也会遇到一部分数据量较大,不过通常使用NoSQL数据库就能够 满足需要了,很少使用Hadoop。

这又回到了一句老话,任何技术,都是为了解决问题而存在的,没有必要为了技术而技术!

那么,使用Hadoop的公司为什么选择Hadoop呢?选择Hadoop,其实是选择的的MapReduce,把大块的任务切分为若干份小任务,由集群的每台服务器来计算,最后把结果合并。

有人认为,主要有三点:1,可以解决问题; 2,成本低 ; 3,成熟的生态圈。

一、Hadoop为大数据而生

在那个没有Hadoop的时代,大家是怎么处理大量数据的呢?IBM的大型机是一个很不错的解决方案。

中国的银行系统目前很大一部分还在大型机上。但是大型机太贵了,实在是太贵了。

于是Google来了,经过谨慎的思考,Google的工程师们发现实际上使用一个简单得分布式计算模型MapReduce就能完成他们的需求。然后他们就搞了一个MapReduce。然后就写了几篇关于这种计算方法的论文。

有了思想,而且有了Google这么大数据量的数据验证,复制技术就很容易了。于是大家就开始搞,然后大家就搞出来一个Hadoop。而且Hadoop是Apache 下的项目,正

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值