17、大数据技术全解析：从概念到应用

大数据技术全解析：从概念到应用

1. 大数据概述

大数据指的是规模过大、过于复杂且随时间呈指数级增长的数据，这使得其难以或无法存储在传统数据库中，也难以用传统数据处理应用程序进行处理。Gartner 对大数据给出了一个很好的定义：大数据是高容量、高速度和/或高多样性的信息资产，需要具有成本效益的创新信息处理形式，以增强洞察力、辅助决策和实现流程自动化。

大数据具有以下三个主要特征：
- Volume（规模） ：大数据强调数据的规模庞大，企业级的大数据至少以 TB 为单位，甚至可达 PB 级别。例如，美国一天内所有信用卡交易数据就属于大数据范畴。
- Variety（多样性） ：过去，数据主要以电子表格和数据库的形式存在，即结构化数据。而如今，大数据涵盖了非结构化数据（如图像、音频、电子书等）和半结构化数据（如具有 JSON 结构的推特推文，但结构不足以直接用于分析）。
- Velocity（速度） ：与 21 世纪初存储在 OLAP 中的数据相比，大数据的产生更加持续。这带来了两种相关的速度概念：一是大数据的生成速率，二是大数据的处理速率以及为决策提供可用数据的速率。

此外，大数据的元数据（即关于大数据的数据）也非常重要。在处理大数据时，元数据具有重要价值，通常为结构化类型。例如，一组图像大数据集可能包含图像的拍摄位置、拍摄时间戳、相机焦距、相机名称等元数据。

2. 大数据来源

在传统的 OLAP 环境中，数据主要来源于记录业务活动（即交易）的 OLTP 数据库。如今，数据记录的范围不断扩大，新