前言
本文讲述 Flink 在 Shopee 新加坡数据组 ( Shopee Singapore Data Team ) 的应用实践,主要内容包括:
-
实时数仓建设背景
-
Flink 在实时数据数仓建设中结合 Druid、Hive 的应用场景
-
实时任务监控
-
Streaming SQL 平台化
-
Streaming Job 管理
建设背景
Shopee 是东南亚与台湾领航电商平台,覆盖新加坡、马来西亚、菲律宾、台湾、印度尼西亚、泰国及越南七大市场,同时在中国深圳、上海和香港设立跨境业务办公室。
-
Shopee 在2020年第一季的总订单量高达4.298亿,同比增长111.2%。
-
根据 App Annie, Shopee 在2020年第一季强势跻身全球购物类 App 下载量前三名。
-
同时斩获东南亚及台湾市场购物类 App 年度总下载量、平均月活数、安卓使用总时长三项冠军,并领跑东南亚两大头部市场,拿下印尼及越南年度购物类 App 下月活量双冠王。
其中包括订单商品、物流,支付,数字产品等各方面的业