10、亚马逊 Kinesis 数据流与 Firehose 服务详解

亚马逊 Kinesis 数据流与 Firehose 服务详解

1. Amazon Kinesis Data Streams 监控与扩展

在设计数据管道时，确保管道的每个阶段可靠且可扩展至关重要。当数据量或速度激增时，系统应能自适应扩展，以维持数据流的稳定。例如，使用 Kinesis Data Stream Scaling 实用程序，可根据数据量和速度的变化自动调整流的分片数量。

1.1 CloudWatch 指标监控

Amazon KDS 与 Amazon CloudWatch 深度集成，通过 CloudWatch 可以轻松收集、查看和分析数据流、生产者和消费者的指标。创建流时，流级别的指标默认开启。以下是一些重要的监控指标：
| 指标名称 | 描述 |
| — | — |
| IncomingBytes 和 OutgoingBytes | 可用于确定流中所需的正确分片数量 |
| WriteProvisionedThroughputExceeded 和 ReadProvisionedThroughputExceeded | 监控生产者和消费者是否超出流的容量 |
| MillisBehindLatest | 显示 GetRecords 响应与流头部的差距 |

此外，还可以通过开启流的增强指标来监控更多分片级别的指标。流指标每分钟自动收集并发送到 CloudWatch，默认指标无额外费用，但增强指标会产生额外费用。

除了上述指标，CloudWatch 还记录了以下重要指标：
| 指标名称 | 描述 |
| — | — |
| PutRecord.Bytes