16、数据摄取：从流、SaaS应用到云的全面指南

数据摄取：从流、SaaS应用到云的全面指南

1. 从流中摄取数据

在数据处理中，流数据摄取是一个关键环节。流数据在云数据平台设计中有两种表现形式。一种是实时流，平台会逐个处理消息，用于实时将数据摄入仓库、进行实时分析或两者兼顾。

在捕获流管道的元数据时，这两种表现形式需要区别对待。流管道的重要元数据与变更数据捕获（CDC）部分讨论的类似。为了快速评估管道的健康状况，需要测量在固定时间段内处理的消息数量。这个时间窗口取决于具体场景，可能从几分钟到几小时不等。

例如，若每分钟仅接收少量消息，使用较大的指标窗口（如一小时）能提供更好的基线，便于进行监控。对于高流量的流，则需要使用较小的窗口，以确保不会错过可能表明管道问题或上游应用程序故障的峰值或谷值。在实际的云数据平台中，曾有通过监控流管道中的消息量检测到上游应用程序故障的案例，当时管道观察到的消息量降至基线以下，系统立即触发了警报。

不同的流数据源可以使用不同的时间窗口来捕获消息吞吐量。例如，有两个流数据源，一个是来自Web应用程序的点击流，另一个是某种物联网传感器。具体数据如下表所示：
| source_name | start_ts | end_ts | duration | messages |
| — | — | — | — | — |
| web_events | 2019 - 05 - 02 12:00:00 | 2019 - 05 - 02 12:05:00 | 300 | 1038 |
| sensor1 | 2019 - 05 - 02 12:00:00 | 2019 - 05 - 02 12:01:00 | 60 | 7800 |

流