9、优化生产者与构建数据管道：以 Amazon Kinesis 为例

优化生产者与构建数据管道：以 Amazon Kinesis 为例

1. 生产者优化

在处理数据写入分片时，记录批处理、聚合和压缩是提高读写效率和容量的最佳实践。这些优化措施能够增加有效负载中的记录数量，并减少请求的整体大小。

• 记录聚合 ：当需要将许多小文件写入流时，聚合操作会将这些小文件组合成单个记录，从而最大化单次 PutRecords 批次中的记录数量。结合批处理和聚合，可以一次性将更多记录写入流中。
• 记录压缩和编码 ：对记录进行压缩和编码可以减少记录有效负载的大小。随着有效负载大小的减小，所需的分片数量也可以相应减少。例如，对于 SmartCity 通知的 JSON 消息，可以将小的 JSON 消息进行聚合和压缩，以增加单次 PutRecords 批次中发送的记录数量。Amazon KPL 集成了将多个记录聚合成单个记录的支持，以实现高效写入。

2. 创建流消费者应用

Amazon Kinesis 应用程序是一种数据消费者，它从流中获取数据并对数据记录进行额外处理。创建消费者有多种选择，包括 REST API、SDK 和代理等。

</

选项	说明
Amazon Kinesis Data Analytics	用于分析流数据的服务