17、亚马逊Kinesis数据处理与视频流应用全解析

亚马逊Kinesis数据处理与视频流应用全解析

1. KDA应用数据处理与存储

在KDA应用中，由于底层存储的特性，应用内流（结果表）的窗口间隔不超过1小时。但我们需要持续跟踪站点，为解决这一限制，可将KDA应用的输出发送到Firehose，并将结果持久化存储在S3中。在实际应用里，还能在数据库中保存运行总计，并发送KDA窗口操作结果来更新数据库。

若要将RENTAL_COUNT应用内流的数据发送到S3，可按以下步骤操作：
1. 点击“Connect to a destination”按钮。
2. 当提示选择Firehose交付流时，选择CDK应用创建的BikeAnalyticsOutput交付流，该流已配置为将数据发送到S3存储桶。
3. 对于应用内流，选择RENTAL_COUNT，然后选择CSV作为输出格式。
4. 点击“Save”，再点击“Continue”。

2. 构建KDA Flink应用

此前我们使用AWS控制台创建了SQL应用，现在将使用AWS CDK以可重复的方式设置Flink KDA应用。在开始前，需完成“Setting up a producer application”部分。

若还未从GitHub拉取源代码，可前往以下链接获取：
- CDK: https://github.com/PacktPublishing/Streaming-Data-Solutions-with-Amazon-Kinesis/tree/main/chapter6/flink-cdk
- Flink代码: https://github.com/PacktPublishing/Stre