8、亚马逊 Kinesis 数据流操作指南

亚马逊 Kinesis 数据流操作指南

1. 数据在 Kinesis 中的流动

在 Kinesis 数据服务（KDS）中，数据流由分片组成，而分片包含数据记录。数据记录通过生产者应用程序借助 KDS API、Amazon Kinesis 生产者库（KPL）、Amazon Kinesis 代理等工具被放入数据流。KPL 是一个代码库，它简化了向数据流添加数据的复杂性，在性能和故障处理方面进行了优化，便于与生产者应用程序集成。这里以 Kinesis 代理为例，它会从 SmartCity 通知服务收集记录。

消费者应用程序则使用 KDS API、Amazon Kinesis 客户端库（KCL）、Lambda 函数或其他集成的 AWS 服务从数据流中收集记录。KCL 消费者接口会从给定的序列号开始，检索具有给定分区键的所有记录，并在 Amazon DynamoDB 表中透明地跟踪记录的序列号。这样，若消费者停止，它可以从最后一条未处理的记录处重新启动。

2. 创建 Kinesis 数据流和分片

要创建 Kinesis 数据流，只需设置流名称和分片数量。具体步骤如下：
1. 登录 AWS 控制台：访问 https://aws.amazon.com/console/ 。
2. 进入 KDS 服务控制台：登录 AWS 后，在“搜索服务”框中输入“Kinesis”，点击“Kinesis: Work with Real - Time Streaming Data”服务。
3. 创建数据流：在“入门”部分，选择 KDS 选项，然后点击“创建数据流”，指定流名称和分片数量。

一个 AWS 账户创建数据流的数量没有上限，一个流中最