11、Amazon Kinesis Data Firehose 深度解析：成本优化、加密、转换与存储管理

Amazon Kinesis Data Firehose 深度解析：成本优化、加密、转换与存储管理

1. KDS 流成本影响因素

KDS 流的成本受记录大小影响显著。若记录大小未接近或等于 25 KB 边界，为摄取数据的 PUT 有效负载单元支付的费用会超出预期。为解决此问题，可使用 Kinesis Producer Library（KPL）将更多用户记录打包到发送给 KDS 的单个记录中。当使用 KPL 向 KDS 流发送消息并将 AggregationEnabled 配置参数设置为 true 时，多个用户记录会被打包成一个 KinesisDataStream 记录，使摄取记录的大小接近 25 KB 的倍数。由于 25 KB 是 5 KB 的倍数（KDF 向上取整记录的边界），开启聚合功能后，KDF 读取 KDS 流中的记录能更好地利用向上取整机制。KDF 服务在摄取聚合记录后，会在将记录发送到目的地之前自动解聚合，确保记录按发送到 KPL 时的原样传递到目的地。

2. KDF 加密机制

KDF 支持传输中加密和静态加密。它拥有支持安全 HTTP（HTTPS）的 REST API。静态加密方法取决于数据摄取机制，数据可通过 Direct PUT 或 KDS 流作为源摄取到 KDF 中，此外，KDF 还与多个 AWS 服务集成，如 Amazon CloudWatch Logs、Amazon CloudWatch Events、AWS Internet of Things（IoT）或 Amazon Simple Notification Service（SNS），这些服务可将数据发送到 KDF。
- Direct PUT 及其他 AWS 服务