阿里ads导出mysql_分析数据库ADS-产品化服务化实践 by 离哲@阿里云

第1页

分析数据库ADS

产品化 服务化 实践

阿里巴巴 离哲(占超群) @flyinweb

第2页

1 简介 2 服务化 3 产品化

未 来

第3页

1.1 关键特性

• 海量数据 •无法预算 • 高并发 •高 可用

• RT O AP •M ySQ  兼容

•低延时 •按 量付费

第4页

1.2 用户群体

中大型企业的传统 在线分析业务 数据应用 New 向集中化、低延时 转型的在线分析业务

第5页

1.3 @阿里

Data + App

SaaS DMP 观象台 APP 微淘 指数 商户CRM ……

DaaS POI Profile LBS Targeting

PaaS 御膳房 TAE

IaaS ODPS Galaxy

ADS RDS

ECS

……

第6页

1.4 整体架构

JDBC

Oracle SQL

Server …

数据互通 (D)RDS ODPS

OSS

基础设施 DNS SLB SLS ….

APP

(报表、Ad hoc、分析应⽤用 ......)

御膳房

彩云间 (开发)

孔明灯 (建模)

应 ⽤用

SLB

Access Node

(MySQL/REST/…)

Data Data Update Node MQ Manager

RM

Database Manager

Data Manager

Nodes Manager

A Console D

S

⻜飞天

OTS Zookeeper

第7页

产品化

预先建模 之痛 标准化 之痛 元数据 之痛 自包含 & 开放

第8页

2.1 预先建模

预先建模

HBase 0.90

80MBps <20 3GB+

MySQL Proxy

60+ 90+ 1000%+

第9页

2.2 标准化

HTTP

C Node.js C++

HSF/SOFA

MySQL

5.0.x 5.1.x

N+ 故障 100+ 升级

第10页

2.2 标准化

⼀一种协议:MySQL

90+ ⼈人⽇日

⼀一种语法:

DML/DDL/DCL/UDF

30+ ⼈人⽇日

information_schema performance_schema

30+ ⼈人⽇日

第11页

2.3 元数据

300+ Options N+ 故障 Zookeeper 2GB+ N+ 故障 700+

默认值 边界值 重载 5+ 变更 元数据版本

OTS 10000+ 10TB+

数据版本 时间戳 ⽇日志

第12页

2.4 自包含 & 开放

sys admin db db

user performance_schema db information_schema

ADS Kernel

0

熟悉

少 依赖

成本

⽣生态

第13页

服务化

多租户 VS 资源利用率 分布式 VS SLA 多集群 VS 部署 热升级 VS 资源 低成本 VS 小白

第14页

3.1 多租户

数据 隔离 计算资源 隔离

业务 不可知

按量付费

在线计算

离线计算

第15页

3.1 多租户

按需单机多进程

内存: 预估(基于数据+访问) CPU: Min+Share+Priority ⺴⽹网络: Min+Share+Priority

DB1 独享

DB2 独享

共享区

ns

Linux(CGroup+TC)

40%+

第16页

3.1 多租户

DB按数据聚集 聚集内尽可能均衡

DB2 DB1

第17页

3.2 SLA

⺴⽹网络 拥塞 挂

….

节点 GC 慢盘 ….

如何提供稳定的毫秒级RT？ 重发 VS 成本？

第18页

3.2 SLA

Fault tolerance

Tail tolerance

Load Balance

Score Engine

Dispatcher

Node cluster

Tail Collector

70%+

第19页

3.3 多集群

RM Cluster

Database Manager Manager

Data Manager Nodes Manager

Jobs Manager

计算集群1 Access Node

Data node

⻜飞天

计算集群2 Access Node

Data node

⻜飞天

第20页

3.4 热升级

单进程 单Node 单DB*1/2 单集群*1/2

单集群

单机房

上线

RM上线

PLAN

下线 PLAN

下线 OLD

第21页

3.5 低成本

Index 配置? 压缩 配置？ SQL 顺序？

HINT？

空间

时间

链式压缩 全索引

….

第22页

3.5 低成本

访问层 Backup Task 解析层 Project Push Condition Replan Condition Sink 计算层 Stat Cache Index Block UnCompress Scan Agg

第23页

4.1 回顾 & 展望

业务磨练平台 技术产品也要关注体验 体验是多⽅方⾯面的 成本是多⽅方⾯面的

规模化 成本 功能 体验

第24页

⼈人⽣生是带着镣铐的舞蹈 架构设计亦如是

Join US