基于实时计算Flink版的场景解决方案demo

简介：通过两个demo分享技术实时计算flink版的解决方案

本文整理自阿里云智能行业解决方案专家GIN的直播分享
直播链接：https://developer.aliyun.com/learning/course/839

本文主要分享两个基于 Flink 制作的实时大数据的应用。为了更好的体现应用的价值以及它所代表的典型的场景，这次的分享定制了两个接近现实生活中的应用案例。

第一个是如何去做实时的 API 应用服务日志的分析，第二个是采用模拟的 IoT 遥测数据去分析车辆的引擎，并且做实时的异常侦测，以达到做预测维护的一个目的。

实时应用日志分析

场景描述

第一个场景的需求是比较普遍的，这个场景搭建了车辆隐私保护的API。这个API本身是可以对用户上传的车辆的照片进行一个隐私保护的处理，是一个深度学习的模型。

这个模型被封装成一个API，放在阿里云的公共云ECS上，供全世界各地的用户去访问。针对这个API首先需要做的就是去分析到底有多少人在访问他的反馈的频度，来自哪个国家或地区，以及他的访问的一些特征，是否为攻击或者正常的利用？

为了做这个实时的分析，首先需要有能力对各个API分散在各个服务器当中的本身的应用日志去进行海量且实时的一个收集的行为。不仅能收集我们，我们还要能够对它进行一个比较及时的实时的一个处理。处理包括可能有维度表的查询，有些窗口的聚合等等，这对流式计算来说比较常见的操作，最后把这些操作处理完的结果放在高吞吐低延迟的一个环境里边，使得下游的分析系统能够对数据进行一个实时的访问。

整个这个链路并不复杂，但是它代表了一个非常重要的能力，也就是通过使用 Flink 为代表的实时计算和处理，能够在秒级的单位内给业务决策人员提供一个数据驱动决策的功能。

Demo方案架构

具体来看一下这个demo是如何实现的，这里边的这个架构里边有几个重要的关键。

首先右上方是搭建好的API的环境，用的是Flask、 Pytho结合比较主流的Nginx、Gunicorn把它制成了一个API 。需要把API变成一个容器镜像，并且通过镜像将它部署到阿里云的ECS上面，为了高并发低延迟，还装了第七层的负载均衡，以及前面套了一个API Gateway网关去帮助用户去调用API的能力。

同时作为这个demo，我们也提供了一个 WEB APP ，使得用户不仅能通过代码去调用 API ，也可以使用图形化的界面去访问API 。当前端的用户去调用API 的时候，会使用SLS 简单日志服务去从API 本身的服务器当中收集实时的收集API 的应用日志，并且将它做简单的处理之后，投递到实时计算Flink中。
Flink 有个很好的一个特征，就是它可以去订阅来自简单日志服务的日志的投递，并且以流式计算的方式对这个日志进行窗口聚合维度表的查询结合等等这些操作，还有一个好处是它可以用习惯的SQL去做比较复杂的业务逻辑的定制。

当这些数据都处理完了之后Flink 就会把流数据以结构化表的方式写到Hologres，Hologres不仅作为数据的一个存储，也同时作为一个给下游 BI 数据展现提供动力的类似OLAP的引擎的性质。这些东西串起来，