大数据前言

本文回顾了大数据技术的发展历程,重点介绍了起源于Google的‘三驾马车’技术,以及Hadoop如何由Lucene创始人Doug Cutting基于这些理念创建。深入探讨了大数据技术体系的构成,包括分布式文件系统、大数据计算框架等关键组件。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 最近在看微信公众号的时候,发现一篇推文,就是极客时间的大数据优惠活动,69元买一套课程,看的不错。主要考虑到以后的发展方向,决定买了一套

主讲老师背景很是强悍,以后我会在文章中提及。贵在坚持吧。加油

大数据技术发展史:大数据的前世今生

  • 今天我们说的大数据技术,其实起源于Google在2004年前后发表的三篇论文,也就是我们经常听到的‘三驾马车’,分别是分布式文件系统GFS,大数据分布式计算框架MapReduce 和NoSQL 数据库系统BigTable。
  • 然后天才程序员,也就是Lucene开元项目的创始人DougCutting 正在开发开源搜索引擎,阅读了Google的论文后,非常兴奋,紧接着就根据论文原来初步实现了累死GFS和MapReduce 的功能。
  • 两年后的2006年,Dougutting 将这些大数据的相关功能从Nutch中分离了出来,然后发布了Hadoop,主要包括Hadoop分布式文件系统HDFS和大数据计算引擎MapReduce。
  • 后来紧接着出来更多的优化语句和技术。

在这里插入图片描述
图中的多有这些框架。平台以及相关的算法共同构成了大数据的技术体系,以后会逐个进行更新。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值