4、数据驱动应用：从基础到实践

数据驱动应用：从基础到实践

1. 数据的重要性与处理需求

美国数学家克莱夫·洪比曾说：“数据是新的石油”。这一比喻十分贴切，如同原油无法直接使用一样，原始数据也需要经过处理才能产生有意义的见解。在当今社会，石油是交通运输燃料和塑料制品的基础，而数据则是全球商业决策的基石。

2. 经典数据处理方法

在经典数据处理中，有两种不同的方法：OLTP 和 OLAP。
- OLTP（在线事务处理） ：是一种针对单事务处理进行优化的数据模型。以在线图书经销商为例，每一次图书订单就是一个单事务，系统会存储图书名称、价格、客户信息、送货地址等数据。该系统通过关系、规范化表和约束来优化，以处理大量单事务并保证数据质量。但它不适合进行数据分析，因为数据分析涉及复杂的聚合计算，会影响系统性能，甚至导致系统崩溃。
- OLAP（在线分析处理） ：当进行数据分析时，单事务不再重要，重要的是在不同场景下快速聚合值。OLAP 实现了一个带有预聚合值的数据库，这些值在系统加载时计算并存储在 OLAP 服务器上，避免了等待聚合结果，通过牺牲存储空间来换取速度。

3. ETL 与 ELT 过程

ETL 代表提取、转换和加载。数据从源系统中提取，提取过程可以整合多个源系统的信息。在 ETL 过程中，数据可以通过以下方式进行转换：
- 清理 ：OLAP 系统虽通常设计用于维护数据质量，但并非所有数据质量都良好。可能是系统构建不严格或用户输入数据时偷懒。为减轻不良数据的影响，可在转换过程中清理数据，如添加缺失值、纠正错误和统一值的格式