7、云数据平台架构：存储、处理、元数据与服务层解析

云数据平台架构：存储、处理、元数据与服务层解析

1. 快速与慢速存储

数据摄取层通常自身不存储数据，即便可能使用临时缓存，数据一旦通过摄取层，就必须可靠存储。数据平台架构中的存储层负责持久化数据，以供长期使用。存储层有快速和慢速两种存储类型，具体如下：
- 慢速存储 ：主要用于存档和批量数据，常作为永久数据保留区域。在云环境中，云供应商以对象存储服务的形式提供这种存储，能经济高效地存储各类数据，并支持大量数据的快速读取。其优点是无需为存储直接配置计算资源，云供应商会根据实际数据的上传或删除调整存储容量，成本效益高；缺点是不支持低延迟访问，无法满足流式数据对响应时间的要求。
- 快速存储 ：是处理流式数据的消息总线，通常有数据过期策略。它能实现单条消息的低延迟读写操作，很多人将其与 Apache Kafka 关联，但云供应商也提供类似特性的服务。不过，快速存储通常需要关联一定的计算能力，成本显著高于慢速存储。实际应用中，会配置数据保留策略，快速存储仅存储一定量的数据，之后数据会转移到慢速存储的永久位置，并按策略从快速存储中清除。

存储层应具备以下特性：
- 可靠性 ：慢速和快速存储都应能在各种故障情况下持久化数据。
- 可扩展性 ：能轻松添加额外的存储容量。
- 高性能 ：慢速存储可实现大量数据的高吞吐量读取，快速存储可实现单条消息的低延迟读写。
- 成本效益 ：可应用数据保留策略优化存储组合，降低成本。