阿里云大数据体系（实时、离线、流式）和案例

一、阿里云数据引擎发展

核心产品：maxcompute（ODPS）、AnalyticDB、Hologres 

maxcompute：偏离线

AnalyticDB、Hologres：实时

blink、flink：流式

都是列存储

对大型企业通常 maxcompute+Hologres、或者 maxcompute+AnalyticDB，maxcompute处理非结构化数据，结构化后存储到AnalyticDB、Hologres 提供进一步的实时分析

对小型应用，可以把mysql数据直接导入AnalyticDB 或者 Hologres，提供实时分析

二、最佳实践

https://ucc-private-download.oss-cn-beijing.aliyuncs.com/018aa9e2130747889595061866eea87b.pdf?Expires=1713154700&OSSAccessKeyId=LTAIvsP3ECkg4Nm9&Signature=vyEZsI5O8WVJ1PGDlfln7N1t3bo%3D

三、案例

小红书推荐大数据在阿里云上的实践
 

核心引擎
MaxCompute
阿里离线数据计算平台（离线数仓）

原名ODPS,阿里巴巴自主研发的海量数据处理平台

MaxCompute处理存储在Table Store的数据（不负责收集数据到Table Store中），

使用Fluentd服务（类似的服务还有kafka、LogHub、DataX等，都大同小异，这里我用Fluentd作描述只是方便），通过Fluentd我们轻松的创建任务去按时读取各台服务器上的日志文件。简单点说就是你只需要配置服务器上日志的路径，Fluentd就帮你把日志存储到MaxCompute的Table Store中，然后你就能愉快的通过MaxCompute分析数据了。

习惯称MaxCompute 的Table Store的实例为 MaxCompute