大数据技术原理与应用

目录

1.1.1 信息化浪潮（大概15年一次）

1.1.2 信息科技为大数据时代提供技术支撑

1.1.3 数据产生方式的变革

---

1.1.1 信息化浪潮（大概15年一次）

（1）第一次信息化浪潮：

发生时间：1980年前后

标志：个人计算机

解决问题：信息处理

代表企业：IBM、AMD、Intel、苹果、微软、联想、戴尔、惠普等

（2）第二次信息化浪潮

发生时间：1995年前后

标志：互联网

解决问题：信息传输

代表企业：雅虎、谷歌、阿里巴巴、百度、腾讯等

（3）第三次信息浪潮

发生时间：2010年前后

标志：大数据、云计算、物联网

解决问题：信息爆炸

代表企业：亚马逊、谷歌、IBM、VMware、Palantir、Hortonworks、Cloudera、阿里云等

1.1.2 信息科技为大数据时代提供技术支撑

信息科技需要解决信息存储、信息处理和信息传输3个核心问题。

1、存储设备容量不断增加：

①高性能硬盘存储设备，不仅提供海量的存储空间，还大大降低数据存储成本。（闪存：是一种非易失性存储器）

②数据量和存储设备容量之间相辅相成、互相促进。

2、CPU处理能力大幅提升

3、网络带宽不断增加

1.1.3 数据产生方式的变革

数据与信息是不同的概念。信息较为宏观，由数据有序排列组合而成；数据是构成信息的基本单位，离散的数据几乎没有任何实用价值。

人类社会的数据产生方式大致分为3个阶段：运营式系统阶段、用户原创内容阶段、感知式系统阶段

1、运营式系统阶段

1. 人类社会最早的大规模管理和使用数据，从数据库的诞生开始。数据库的出现是数据管理的复杂度大大降低，数据往往伴随着一定的运营活动而产生并记录在数据库中。
2. 数据产生方式：被动的

2、用户原创内容阶段

1. 数据爆发产生于Web2.0时代。该时代最重要的特点就是用户原创内容。（Web1.0时代主要以门户网站为代表，强调内容的组织与提供）
2. 智能手机能移动设备加速内容产生
3. 数据产生方式：主动的

3、感知式系统阶段

1. 物联网的发展导致数据量的第三次跃升