企业级-实时数仓架构图

翻译 已于 2022-09-27 14:26:36 修改 · 1.1k 阅读 · 6
文章标签：

#大数据

于 2022-09-13 17:20:14 首次发布
本文汇集了多位技术专家的分享，涵盖了滴滴、腾讯、顺丰、汽车之家、网易等公司的实时数仓构建实践经验，重点介绍了基于Flink的实时数据处理和OLAP系统。各嘉宾分享了业务背景、架构设计、平台建设、挑战与未来规划，展示了Flink在大规模数据处理中的应用和价值。

往期类似文章：

实时数仓之 Kappa 架构与 Lambda 架构_奔跑者-辉的博客-优快云博客

实时数仓之实际落地如何选型和构建_奔跑者-辉的博客-优快云博客

目录

1 基于Flink的滴滴实时数仓实践

2 实时OLAP , 从0到1

3 腾讯基于Flink  + Iceberg 全场景实时数仓的建设实践

4 腾讯看点基于Flink构建万亿数据量下的实时数仓及实时查询系统 

5 龙逸尘-Flink在顺丰的应用实践 

6 Apache Flink在汽车之家的应用及实践

7 叶贤勋-网易流批一体的实时数仓平台实践

1 基于Flink的滴滴实时数仓实践

分享嘉宾：潘澄,滴滴基础平台 资深研发工程师

分享大纲：

  • 整体概况

  • 业务实践

  • 平台&引擎

  • 总结反思

  • 未来规划

2 实时OLAP , 从0到1

分享嘉宾：高正炎,比特大陆

分享大纲：

  • 业务背景

  • 机遇挑战

  • 架构演进

  • 架构优化

  • 未来展望

3 腾讯基于Flink  + Iceberg 全场景实时数仓的建设实践

分享嘉宾：苏舒,腾讯平台 高级研发工程师

分享大纲：

  • 背景及痛点

  • 数据胡技术apache iceberg

  • flink+ iceberg构建实时数仓

  • 未来规划

4 腾讯看点基于Flink构建万亿数据量下的实时数仓及实时查询系统 

分享嘉宾：王展雄,腾讯看点数据团队 高级工程师

分享大纲：

  • 背景介绍

  • 架构设计

  • 实时数仓

  • 实时查询系统

5 龙逸尘-Flink在顺丰的应用实践 

分享嘉宾：龙逸尘,顺丰科技

分享大纲：

  • 建设背景

  • 建设思路

  • 落地实践

  • 应用案例

  • 未来规划

 6 Apache Flink在汽车之家的应用及实践

分享嘉宾：邸星星,汽车之家 实时计算平台负责人

分享大纲：

  • 背景及现状

  • autostream平台

  • 基于flink的实时生态

  • 后续规划

 

 

 7 叶贤勋-网易流批一体的实时数仓平台实践

分享嘉宾：叶贤勋,网易 资深平台开发工程师

分享大纲：

  • 实时计算演进及业务背景

  • 实时数仓平台建设

  • 基于arctic流批一体实践

  • 未来规划

 

 

实时数仓的整体架构图(二)
02-25 736
大家好,欢迎来到本篇博客,博主是一名刚入大数据行业的小白,利用空闲的时间来分享自己所学的知识,帮助和博主一样刚处于起步阶段的同学,水平不高,若有什么错误和纰漏之处恳请大佬不吝赐教,目前个人博客只有优快云:https://zhenyu.blog.youkuaiyun.com/,感谢大家的支持,谢谢 送给大家一句话:今日事,今日毕 本篇博客主要讲解:什么是实时数仓? 目标: ...
实时数据仓库架构设计：Kafka+Flink+ClickHouse实战
最新发布
小程序开发
10-29 863
传统数据仓库的核心问题在于**“批处理思维”：数据从采集到存储再到分析，需要经过多个离线环节，延迟高、灵活性差。而实时数据仓库的目标是“数据产生即价值释放”**——让数据在生成后的秒级内，就能被分析、查询和应用。那么，如何构建一个低延迟、高吞吐、易扩展的实时数据仓库？答案是：**Kafka（数据管道）+ Flink（实时计算）+ ClickHouse（实时分析）**的组合。数据怎么“流”起来？（Kafka负责数据接入与缓冲）数据怎么“算”起来？（Flink负责实时转换与计算）数据怎么“查”起来？
附PPT|2020年总结实时数仓最新架构图
huzechen的博客
01-01 1843
1型基于Flink的滴滴实时数仓实践分享嘉宾：潘澄,滴滴基础平台 资深研发工程师分享大纲：整体概况业务实践平台&引擎总结反思未来规划2实时OLAP，从0到1分享嘉宾：高正炎,比特...
详解大厂实时数仓建设
yuan_more的博客
10-12 1170
1. 近实时的数据接入前面介绍了 Iceberg 既支持读写分离，又支持并发读、增量读、小文件合并，还可以支持秒级到分钟级的延迟，基于这些优势我们尝试采用 Iceberg 这些功能来构建基于 Flink 的实时全链路批流一体化的实时数仓架构。如下图所示，Iceberg 每次的 commit 操作，都是对数据的可见性的改变，比如说让数据从不可见变成可见，在这个过程中，就可以实现近实时的数据记录。2. 实时数仓 - 数据湖分析系统。
实时数仓之实时数仓架构(Hudi)
道可道非常道
03-27 2485
Flink和Hudi组合实现湖仓一体架构，目前也是业界讨论比较多的一套架构方案，这也得益于Flink和Hudi社区的快速发展，对于组件的特性支持越来越丰富。历史实时数据对齐：如果底层面向业务过程设计，那么根据合理的时间戳属性，是可以严格区分历史数据和实时数据区别的，这种情况可以考虑通过离线数据补全缺失数据。事实表按照业务过程建设，一般业务过程数据不存在更新所以单个key也不存在重复发射的情况，即使存在数据重发，也可以通过ETL规则提前规避掉，这种思路对于下游数据任务加工都比较友好。
实时数仓架构图
流风雨情的博客
11-14 2685
数仓架构（离线和实时）--企业版
xiaohu21的博客
10-13 2573
数仓架构图–企业版 1. 背景 数仓，这是一个并不新颖的词语。在PC时代，就有传统数仓，当时数据一般存放在数据库中，一般是Oracle或者Mysql集群中。因为那时候数据量还不是非常大，所以使用数据库集群就可以进行数据的存储和查询分析，集合前端web页面就能做数据交互式的查询和展示。 进入互联网时代之后，由于移动设备和移动通信技术快速发展，来自移动端的数据几何倍数增加，传统数仓技术已经无法支撑这么海量的数据存储和查询分析。现代化数仓应运而生。 PS： 移动互联网时代，因为都是敏捷开发，为了更好研究客户
【实时数仓架构】方法论
baifanwudi的专栏
04-28 1664
实时数仓架构体系方法论
数仓架构：离线数仓、实时数仓Lambda和Kappa、湖仓一体数据湖
qq_73181349的博客
09-01 2888
数仓架构，离线数仓的数据集市架构、Inmon架构、Kimball架构、混合型架构，实时数仓的lambda架构、kappa 架构，湖仓一体数据湖
实时数仓架构设计：ClickHouse最佳实践
大数据洞察的博客
05-07 746
在当今数字化时代，企业需要快速获取和分析大量实时数据以做出及时决策。实时数仓能够满足这一需求，而ClickHouse作为一款高性能的列式数据库管理系统，在实时数据分析领域表现出色。本文的目的是详细阐述如何在实时数仓架构设计中运用ClickHouse，包括其架构原理、核心算法、实际应用案例等，为开发者和数据分析师提供全面的指导。范围涵盖ClickHouse的基本概念、使用方法、与实时数仓的集成，以及相关工具和资源的推荐。
Flink 实时数仓（一）【实时数仓&离线数仓对比】
功不唐捐，玉汝于成
04-24 6169
实时数仓和离线数仓的对比
数据仓库结构图
08-27
一个明确的数据仓库分层结构图，针对数据仓库的层次介绍和内容简明。
实时数仓架构图总结
yang灬仔
10-24 855
基于Flink的滴滴实时数仓实践 分享嘉宾：潘澄,滴滴基础平台 资深研发工程师 实时OLAP，从0到1 分享嘉宾：高正炎,比特大陆 腾讯基于Flink + Iceberg 全场景实时数仓的建设实践 分享嘉宾：苏舒,腾讯平台 高级研发工程师 腾讯看点基于Flink构建万亿数据量下的实时数仓及实时查询系统 分享嘉宾：王展雄,腾讯看点数据团队高级工程师 龙逸尘-Flink在顺丰的应用实践 分享嘉宾：龙逸尘,顺丰科技 ..
实时数仓实践以及架构
ytp552200ytp的博客
06-13 2117
实时数仓实践以及架构
实时数仓之实时数仓架构(Doris)
道可道非常道
03-21 2672
数据装载由Flink驱动，通过对ODS流进行Join、聚合和转行操作、以及对外部表以Lookup Join方式清洗数据(切记不能过分冗余维度数据，底层对数据做分离是核心设计思想，冗余越是过分、维护成本越高)，明细结果kafka保留一份，并将结果模型数据同步Doris持久保存，以便数据应用引用，Doris数据根据业务情况可以选择基于离线数据回刷昨日数据方案修复数据。从离线数仓同步维表，这类维表实时加工成本太高，且变化不大，可以承担部分不一致性，那么可以采用昨日离线数据同步到redis供etl使用；
电商 实时数仓 简易架构图
u012914566的专栏
06-08 498
一个人走的很快，一群人走的更远。 扫描下面的QQ二维码加入Lark的数据中台开源社区，并为你提供全程免费服务，你也可以与其他伙伴交流大数据技术，如果觉得项目不错，可以star关注，LarkMidTable团队将十分感谢您的关注！ QQ群1群【678097205】已满 微信公众号 【LarkMidTable】 ...
实时数仓之实时数仓架构(理论篇)
道可道非常道
03-13 5234
ODS（Operational Data Store，原始数据存储）层是数据仓库架构中的一个重要组成部分，主要用于存储来自操作性系统的原始、细节级别的数据，完整的ODS层可以分解成两个部分，一个是接入数据组件，另一个是持久存储组件。ODS数据不对外提供服务。接入数据：承接数据源数据，数据格式和数据类型与数据源保持不变；通过消息队列保存数据，数据直接对下游可见；持久存储：原始数据备份，数据格式和数据类型与数据源保持不变，对下游不可见，涉及数据修复可回流接入数据区；
用Flink取代Spark Streaming，知乎实时数仓架构演进
测试
02-17 2894
“数据智能” (Data Intelligence) 有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。本文主要讲述知乎的实时数仓实践以及架构的演进...
附PPT|阿里巴巴实时数仓最新架构图
huzechen的博客
07-31 1677
1优酷大数据olap选型分享嘉宾：五羖,阿里文娱技术专家分享大纲：大数据给传统数据技术带来的挑战 市面上各类大数据OLAP技术方案一览优酷不同业务场景的OLAP选型2网...
数仓架构图模版
06-29
数据仓库架构图通常包括多个层级，如数据源层、ETL（抽取、转换、加载）层、数据存储层、查询层和应用层。以下是一个典型的三层数据仓库架构： ### 数据源层 数据源层是数据仓库的起点，通常包括各种操作型数据库、外部数据文件、日志文件等。这些数据源可能来自不同的系统，例如ERP、CRM、财务系统等。 ### ETL 层 ETL 层负责从数据源中提取数据，进行清洗、转换，并最终加载到数据仓库中。ETL 过程通常涉及数据验证、格式转换、聚合计算等步骤，以确保数据的质量和一致性。 ### 数据存储层 数据存储层通常分为数据仓库（Data Warehouse）和数据集市（Data Mart）。数据仓库用于存储企业级的历史数据，而数据集市则专注于特定业务领域的子集数据。 ### 查询层 查询层提供对数据的访问接口，支持用户通过SQL或其他查询工具获取所需的数据。这一层通常包括OLAP（联机分析处理）服务器、BI（商业智能）工具等。 ### 应用层 应用层是数据仓库的最终使用场景，包括报表生成、数据分析、数据可视化等。常见的工具有Tableau、Power BI、Superset等。 ```python # 示例代码：简单的数据仓库架构模拟 class DataWarehouse: def __init__(self): self.data_sources = [] self.etl_processes = [] self.data_store = {} self.queries = [] def add_data_source(self, source): self.data_sources.append(source) def run_etl(self, process): self.etl_processes.append(process) # 模拟ETL过程 print(f"Running ETL process: {process}") def store_data(self, key, data): self.data_store[key] = data def query_data(self, key): return self.data_store.get(key, None) # 创建数据仓库实例 dw = DataWarehouse() dw.add_data_source("Sales DB") dw.run_etl("Extract Sales Data") dw.store_data("sales_data", {"revenue": 1000000, "units_sold": 5000}) result = dw.query_data("sales_data") print(result) ``` ### 相关问题 1. 如何设计一个高效的数据仓库架构？ 2. 数据仓库与数据湖的区别是什么？ 3. 在数据仓库中，ETL 和 ELT 的区别是什么？ 4. 有哪些常用的工具可以用来构建和管理数据仓库？ 5. 数据仓库中的星型模式和雪花模式有什么不同？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值