AWS 大数据实战 Lab1 - 流数据处理(二)-优快云博客

本文档详细介绍了如何使用AWS服务构建实时交易订单数据流处理系统。首先，创建Amazon Kinesis Data Stream来接收交易数据，接着创建Kinesis Data Analytics应用进行在线分析。然后，利用Kinesis Data Firehose将数据传输到S3存储桶。最后，展示了如何配置和运行SQL查询以实现一分钟交易数据聚合。实验成功后，数据可在S3中查看，为后续的Lab2和Lab3奠定了基础。

为了使练习更加贴近实际业务场景，我们将模拟从应用程序中生成交易订单事件，在这种情况下是与交易流水、交易日期、客户编号、产品编号和一些数据相对应的事件流。在此教程中，将完成以下三个步骤的实验：

• 创建 Amazon Kinesis Data Stream
• 创建 Amazon Kinesis Data Analytics 应用程序
• 创建 Amazon Kinesis Data Firehose 将数据传送到 Amazon S3(Lab2 和 Lab3 需要用到)

上述三个步骤的实验的架构图如下

Kinesis 流数据产生

发送模拟数据

登录准备阶段部署的 EC2，保存如下代码到 ec2-user 的 home 目录下，我使用的 AWS 区域为us-east-1，如果你在其他区域创建的 EC2，请修改代码里面的region_name。

https://imgs.wzlinux.com/aws/lab1.sh

然后执行如下代码开始给 Kinesis Data Streams 流平台发送模拟数据(这个2021-03-19在系统内是个交易日期，方便后续作为关键字查找，没有特殊的含义)

[ec2-user@ip-172-31-77-126 ~]$ sh lab1.sh kds-lab1 2021-03-19 &
[1] 2768

lab1.sh会往 kds 流里面灌数据，格式为

tid: 交易id
tno：交易编号
tdate：交易日期
uno：客户编号
pno：产品编号
tnum：交易数量
tuptime：时间戳

如下仅供参考

{
    "tid": "123",
    "tno": "AwGi20200904131249",
    "tdate": "2021-03-19",
    "uno": "U1030",
    "pno": "P

AWS 大数据实战 Lab1 - 流数据处理(二)

Kinesis 流数据产生

发送模拟数据

1 条评论