大数据系列 1：大数据技术发展历程

2014 年，马云提出，“人类正在从 IT 时代走向 DT 时代”。如果说在 IT 时代是以自我控制、自我管理为主，那么到了 DT（Data Technology） 时代，则是以服务大众、激发生产力为主。

在 DT 时代，人们比以往任何时候更能收集到更丰富的数据。数据正在变革我们的生活，催生了大数据行业的发展。

百度百科中这样定义大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在这里我还是要推荐下我自己建的大数据学习交流qq裙： 957205962， 裙 里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有大数据开发相关的），包括我自己整理的一份2018最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深入大数据的小伙伴

这个新处理模式，就是大数据技术了。下图是我整理的主要大数据技术发展历程。

在大数据时代，传统的软件已经无法处理和挖掘大量数据中的信息。最重要的变革着就是谷歌的“三架马车”。谷歌在 2004 年左右相继发布谷歌分布式文件系统 GFS、大数据分布式计算框架 Mapreduce、大数据 Nosql 数据库 BigTable ，这三篇论文奠定了大数据技术的基石。变革总是像谷歌那样的大公司主导的，在当时大部分公司还在致力于提高单机性能时，谷歌已经开始设想把数据存储、计算分给大量的廉价计算机去执行。