weixin_44166276的博客

这是一本从基本操作、架构设计、进阶使用、运维管理、拓展应用、项目实战等多个维度全面讲解Doris的著作，是资深数据仓库专家兼Doris开源项目贡献者实战经验的总结，得到了Apache Doris PMC主席、Select DB创始人兼CEO以及多位Apache Doris PMC的强烈推荐。基础篇（第1-4章）：首先介绍了Doris的功能特点、架构设计、应用场景，然后讲解了Doris的编译、安装、部署、建表等基本操作，以及Doris的数据对象和数据模型。--张家峰 Apache Doris PMC。

以零售业务为例，假设有订单信息表A、订单商品表B，我们在ODS层可以分别取到两个表的增量数据，如果要得到DWD层的增量，需要用同时读取订单信息表和订单商品表中变动的订单并进行关联，可以是A表的增量数据关联B表的增量union all历史全量 + B表的增量数据关联A表的增量union all历史全量，这样可以计算出DWD层的增量。但是，这些其实都是低价值密度的数据，真没有太多分析的必要性。但是，真是的情况是，数据湖也只能做到ODS层的增量或者最多DWD层的增量，有更复杂逻辑的情况下，数据湖也是无能为力的。

据公开资料显示，Apache Doris在美团、小米、京东、百度、网易、字节跳动、快手、腾讯、华为、新浪、知乎、360等大型互联网企业有深入的应用和稳定的生产运行，全球范围内的企业用户规模已超过1000家。同时，飞轮数据科技（SelectDB）提供了基于开源Doris的云原生实时数据仓库SelectDB Cloud，百度智能云、腾讯云、阿里云、火山引擎等知名云厂商也提供了基于开源Doris的云上托管服务。本从基本操作、架构设计、进阶使用、运维管理、拓展应用、项目实战等多个维度全面讲解Doris的著作，

这种加工虽然可以做到数据的秒级延迟，但是牺牲了数据的准确性和数据分析维度，高度聚合的数据虽然可以满足一些场景的使用，但是无法进一步分析和深挖数据价值。但是随着业务的发展和技术的成熟，我们不再满足于今天看昨天的数据，而是想要今天就看到今天的数据，于是就有了实时数仓的概念。它的目标是将数据的捕获、处理和分析的速度提高到接近实时的水平，以支持实时决策和洞察。架构最大的优点是仅需一套代码，可以同时完成流式数据加工和批量数据加工，最大的问题是批量数据加工的能力会低于离线批处理，因此历时数据的回溯时长存在不确定性。