基于实时计算Flink的机器学习算法平台及场景介绍

阿里云云栖号

于 2020-09-02 15:39:50 发布

阅读量3.2k

点赞数

CC 4.0 BY-SA版权

分类专栏：我是程序员云栖号技术分享文章标签：算法大数据 python

本文链接：https://blog.youkuaiyun.com/yunqiinsight/article/details/108363476

作者：高旸（吾与），阿里巴巴高级技术专家

1. 前言

随着互联网“人口红利”的“消耗殆尽”，基于“T+1”或者离线计算的机器学习平台及推荐系统转化率与效果日趋“平淡”。后疫情时代的新社会模式及经济形态必将催生出新的商业模式，在线业务及相关应用场景的流量呈现井喷式发展，常规的离线系统及离线机器学习平台已无法满足业务发展要求。人口红利吃尽之后，基于大数据及AI平台的业务系统在时间维度上的思考将变得至关重要，通过业务系统实时化向时间要价值已经成为主流趋势。基于流式计算引擎的在线机器学习平台将越来越被重视，通过增量模型的准实时或实时推荐系统更能“因时而异” 充分捕捉目标用户瞬息万变的需求，从而进行精准推荐和变现。实时推荐系统也从最早的电商场景，扩展到社交场景，在线教育场景，游戏场景及更广阔的在线场景。

本文介绍重点介绍基于阿里云大数据及AI产品家族的实时计算Flink及PAI Alink机器学习算法平台，以及该产品组合在实时推荐场景（适用于电商、游戏及在线教育解决方案）、实时评分卡场景（适用于金融、安全及营销风控解决方案）以及异常检测场景（适用于工业领域及其他产业互联网领域）的场景应用。

2. 实时计算引擎及机器学习算法平台介绍

2.1 阿里云实时计算Flink

阿里云实时计算Flink作为Apache Flink创始团队的商业化产品，从极致（较传统微批模式）的实时数据处理维度，为企业大数据处理及业务实时化提供了可能。商业化的统一开发及管控平台，成熟、准标准化的SQL及元数据管理能力，让业务人员及数据分析师大幅度提升开发效率， SQL配合UDF基本可以解决80%+的业务场景。企业级的State Backend – Gemini大幅度提升IO效率，整体执行引擎较开源3倍以上的性能提升。