大数据和云服务领域的我的思考(拙见)

本文探讨了大数据技术兴起的原因,包括互联网的快速发展导致的数据爆炸性增长,以及传统单机处理能力的局限性。文中还分析了大数据领域的关键技术,如Hadoop、HDFS、Storm和Spark等,并讨论了这些技术如何应对大规模数据处理的需求。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

最近突然做大数据 有点自己的思考:

大数据的核心是处理大量的数据,然后分析,挖掘

大数据火的本质原因是互联网的兴起带动大量用户使用,由此产生大量数据,这么多数据是

以前的单台机器无法在规定时间内处理完的,由此产生了需要用多台电脑一起计算的思想。由此在计算机软件领域就产生了一系列的大数据技术,比如hadoop,hdfs,storm,spark等等。至于为什么会产生这么多技术,关键的问题是一是用户的大量使用,二是硬件的发展赶不上软件的发展,就是可以理解为 如果某一天 硬件发展起来,一块磁盘 可以存储 数百万TB、PB、EB 的容量,并且价格相对可以接受,大数据存储系统技术就 不会这么火了。  当然大数据这块分俩个去分析,一个是存储,一个是分析。存储的我已经说过了上面,下面说说分析。分析就是数据的整合和计算。传统的技术是普通数据库去完成,现在是普通数据库处理不了这么大的数据,就需要重新设计一种分析存储挖掘技术。当然这并不代表传统的数据库会被替代,因为传统的设计理念是数据要原子性和完整性,不允许存在任何数据的丢失,这在银行金融领域是别无替代的可能性。当然新催生出的数据库诸如nosql,redis,hbase,mongodb等等,都是对数据的完整性没那么要求高的。

包括周围总听到的,分布式、主备热备、云服务、集群处理等等都是在担心着硬件万一出情况的后续处理和硬件不满足要求的解决方案。

总的来说,现在是互联网的时代,最赚钱的也是互联网公司,硬件等公司发展的较为缓慢,因此这也是无可逾越的问题。但是我相信如果硬件发展起来或者是数据的压缩技术更成熟(当然也没那么容易),将又会是一个新的时代。

本来这篇文章应该发表在我的技术博客里面,但是感觉又不是技术,所有随便发吧。

待续。。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值