大数据前言

最新推荐文章于 2022-04-04 23:20:03 发布

黑天鹅-

最新推荐文章于 2022-04-04 23:20:03 发布

阅读量477

点赞数

文章标签：大数据

本文回顾了大数据技术的发展历程，重点介绍了起源于Google的‘三驾马车’技术，以及Hadoop如何由Lucene创始人Doug Cutting基于这些理念创建。深入探讨了大数据技术体系的构成，包括分布式文件系统、大数据计算框架等关键组件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

 最近在看微信公众号的时候，发现一篇推文，就是极客时间的大数据优惠活动，69元买一套课程，看的不错。主要考虑到以后的发展方向，决定买了一套

主讲老师背景很是强悍，以后我会在文章中提及。贵在坚持吧。加油

大数据技术发展史：大数据的前世今生

今天我们说的大数据技术，其实起源于Google在2004年前后发表的三篇论文，也就是我们经常听到的‘三驾马车’，分别是分布式文件系统GFS，大数据分布式计算框架MapReduce 和NoSQL 数据库系统BigTable。
然后天才程序员，也就是Lucene开元项目的创始人DougCutting 正在开发开源搜索引擎，阅读了Google的论文后，非常兴奋，紧接着就根据论文原来初步实现了累死GFS和MapReduce 的功能。
两年后的2006年，Dougutting 将这些大数据的相关功能从Nutch中分离了出来，然后发布了Hadoop，主要包括Hadoop分布式文件系统HDFS和大数据计算引擎MapReduce。
后来紧接着出来更多的优化语句和技术。

在这里插入图片描述
图中的多有这些框架。平台以及相关的算法共同构成了大数据的技术体系，以后会逐个进行更新。