图解大数据 | 大数据生态与应用导论

作者：韩信子@[ShowMeAI](https://www.showmeai.tech
教程地址：https://www.showmeai.tech/tutorials/84
本文地址：https://www.showmeai.tech/article-detail/167
声明：版权所有，转载请联系平台与作者并注明出处

收藏ShowMeAI查看更多精彩内容

---

1.大数据的背景

随着互联网高速发展，网络数据呈现出指数级别的快速增长，企业应用需要处理的数据量也变得非常巨大，轻松达到了TB、PB甚至EB、ZB级别，需要巨型存储空间进行存储。而对这些数据进行处理和分析挖掘，仅仅使用单机处理已经无法完成，这个大背景下，针对海量数据处理的大数据解决方案应运而生。ShowMeAI将在接下来的内容中逐步展开讲解大数据生态工具的应用，以及大数据的处理分析挖掘方法。

以下几点，更详细地介绍了大数据技术的相关历史和背景。

1）第三次信息化浪潮

根据IBM前首席执行官郭士纳的观点，IT领域每隔十五年就会迎来一次重大变革。

2）数据量飞速增长

移动互联网时代，产生大量的数据。

3）存储价格随时间变化

硬件存储价格随科技发展逐年不断下降。

4）数据产生方式的变革

大数据的兴起也跟数据产生方式的变化有关，数据产生方式的变革促成大数据时代的来临。

2.大数据的发展历史

下面我们来看看大数据的发展历史。

1）大数据的发展历程

2）大数据的概念

大数据不仅是数据的“大量化”，而且包含“快速化”“多样化”“价值化”等多重属性。

（1）大量化 Volume

大数据摩尔定律：数据一直都在以每年50%的速度增长，即每两年就增长一倍（IDC）人类在最近两年产生的数据量相当于之前产生的全部数据量。预计到2020年，全球将总共拥有35ZB的数据量，相较于2009年，数据量将增长近44倍。

（2）快速化 Velocity

大数据需要很快的处理速度：从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少。1秒定律（秒级定律）：这一点和传统的数据挖掘技术有着本质的不同。

（3）多样化 Variety

大数据数据形态丰富：大数据由结构化数据和非结构化数据组成。