数仓领域相关技术选型总结

最新推荐文章于 2025-03-31 15:15:14 发布
原创 最新推荐文章于 2025-03-31 15:15:14 发布 · 631 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #数据仓库 #数字化转型

本文详细探讨了数据采集、传输、存储、计算、查询、可视化以及任务调度等各个环节中广泛使用的IT技术工具，如FlinkCDC、Kafka等，并对数仓综合选型进行了深入对比，为数据工程师提供了一份全面的参考指南。
分类选型
数据采集传输FlinkCDC，Kafka ，DRS，Flume，DataX，Maxwell，Sqoop ，
数据存储MySOL，HDFS，HBase，Redis，MongoDB
数据计算Hive，Spark ，Flink，Storm ，Tez
数据查询Presto，Kylin ，Impala
数据可视化DLV，Superset，Echarts，Sugar，QuickBI，DataV，FineBI，PowerBI
任务调度DataArts Studio、DolphinScheduler，Azkaban，Oozie，Airflow
监控Zabbix，Prometheus
数仓综合选型DWS，Doris，PostgreSQL，TiDB，Druid，ClickHouse，Greenplum
数仓建模—数据治理框架选型
02-10 4675
全名主要亮点覆盖面最广：从数据治理、架构、质量、安全到元数据、主数据、数据仓库等等，几乎所有数据管理主题都能在DMBOK里找到相应章节。概念权威统一：帮助组织建立通用术语和知识基础，减少“部门之间说法不一致”的沟通成本。适用场景：如果你所在公司（或团队）正准备系统梳理数据管理的方方面面，DMBOK是一份非常全面的指导手册，尤其适合培养新人或为整个组织统一认知。需要注意：DMBOK偏“知识指引”，不直接提供成熟度模型或实施路线图。想要落地，还需要结合其他评估模型或项目管理方法。小案例举例：某。
大数据领域数据产品的技术选型与架构设计案例
最新发布
大数据洞察的博客
04-22 1315
本文旨在解决数据产品建设中技术栈混乱、架构扩展性不足、成本失控等核心问题，构建覆盖技术选型决策树、架构设计模式、实施路线图的完整方法论。数据产品技术架构的五层核心体系（采集层→存储层→处理层→分析层→应用层）主流技术栈的对比评估模型（计算引擎/存储引擎/治理工具/可视化平台）行业典型场景的架构适配方案（离线批处理/实时流处理/交互式分析/机器学习赋能）核心概念：定义数据产品技术架构的核心组件及相互关系选型方法论：建立技术评估矩阵，解析关键决策因子架构设计模式。
[选型] 实时数仓之技术选型
fct2001140269的博客
12-07 3670
关于实时数仓的选型 ● 如果选择hbase，建议选择kudu ● 如果选择kudu, 还可以选择doris ● 如果选择doris，建议选择iceberg
2.东软跨境电商数仓项目技术选型
Mmj666的博客
05-30 1338
东软跨境电商数据仓库项目技术选型（2022/05/30）
实时数仓|架构设计与技术选型
大数据记录
01-16 2971
前言 一、技术选型 二、需求分型 三、架构设计 总结
面试题——数仓项目技术如何选型？
Lorenzo's Oil
06-16 536
技术选型： 要提供两套方案，红色的一套，黑色的一套，提供对比 选择的依据： 优先选择红色的那一套，因为比较通用，而且熟悉 Flume解决日志的采集，Kafka解决消息的分发和消峰，Sqoop用于HDFS和关系型数据库进行数据的传递 MySql主要用于查询，它用于存储与前端进程交互比较频繁的数据，因为查询要速度比较块，HDFS主要用于存储，用于存储计算和分析的数据量大的数据 Hive是底层是基于MR，速度慢，Tez基于内存，数据在计算过程中不落盘，都存储在内存中，速度快，Spark同理 Presto和Imp.
数仓技术选型
qq_45972323的博客
05-04 601
数据量大小，业务需求，行业内经验，技术成熟度，开发维护成本，学习成本，总成本预算。集群监控：Zabbix，Prometheus。权限管理：Ranger，Sentry。元数据管理：Atlas。
实时数仓 | 你想要的数仓分层设计与技术选型
Focus on Lakehouse
04-15 5243
数据仓库概念的提出都要追溯到上世纪了，我们认为在大数据元年之前的数仓可以称为传统数仓，而后随着海量数据不断增长，以及Hadoop生态不断发展，主要基于Hive/HDFS的离线数仓架构可以...
【附下载】实时数仓架构设计与选型
weixin_52346300的博客
11-12 423
这是彭文华的第99篇原创好几位朋友在后台留言，说要看看各大厂都是咋玩实时数仓的。其实，实时数仓和离线数仓在模型设计的时候是一样一样的，只是需要计算引擎和存储不太一样而已。然后再解决实时计算...
万字详解：ClickHouse 与 Doris 技术选型对比分析
AI天才研究院
03-31 1112
ClickHouse 和 Doris 作为分析型数据库领域的佼佼者，各有优劣。ClickHouse 在查询性能和灵活性上表现突出，适合对实时性要求极高的场景；而 Doris 在高并发支持、易用性和生态系统上更具优势，适合复杂分析和湖仓一体需求。技术选型需结合具体业务场景、团队技能和资源条件综合考量。随着两者社区的持续迭代，未来在云原生和实时分析领域的竞争将更加激烈，用户可根据最新动态调整选型策略。对比维度ClickHouse架构设计。
实时数仓方案五花八门，实际落地如何选型和构建
数据一哥，公众号：数据社
06-13 7042
【作者介绍】王磊，阿里云 MVP，华院计算技术总监。著有：《图解 Spark 大数据快速分析实战》；《offer 来了：Java 面试核心知识点精讲（原理篇）》；《offer 来了：Java 面试核心知识点精讲（架构篇）》。编辑 | 韩楠约4,989 字 | 10 分钟阅读01文章概览（一至五）✦一、为何需要实时数仓架构二、数仓如何分层&各层用途三、数仓分层的必...
大数据数仓项目技术选型
weixin_45748431的博客
07-27 725
技术选型主要考虑因素 数据量大小，业务需求，行业内经验，技术成熟度，开发维护成本，总成本预算。 数据采集传输： Flume：负责处理文件，读取文件 Kafka:负责缓冲 sqoop:从mysql直接导入数据 数据存储： MySql:负责存储可视化的展示数据 HDFS:主要存储的是大数据中的数据，例hive HBase:存储元数据 Redis:缓存 数据计算： Hive：基于MapReduce计算，速度相对较慢 Tez:完全基于内存，相对hive快了很多 Spark：速度是hive的100倍。可以进
数据仓库_实时数仓技术选型概览
迎难而上
09-01 593
本文介绍了市面上常见实时数仓方案，并对不同方案的优缺点进行了介绍。在使用过程中我们需要根据自己的业务场景选择合适的架构。另外想说明的是实时数仓方案并不是“搬过来”，而是根据业务“演化来”的，具体设计的时候需要根据自身业务情况，找到最适合自己当下的实时数仓架构。延申思考我们在实时数仓的构建过程中比较大的争议是采用标准分层体系+流计算+数据湖的方案，还是试用基于全场景MPP数据库实现。
数据仓库技术选型方案文档
HumorChen的博客
09-03 4352
Flink CDC 是 Flink 的子项目，是 Flink 的一组原连接器，用于 CDC 从不同数据库接收/更改数据，Flink CDC 将 Debezium 集成为引擎，异步或数据更改，因此 Flink CDC 可以充分使用和发挥 Debezium 的能力，并且可以无缝对接 Flink 使用其 SQL API 和 DataStream API 的能力，最终写入各种数据源。它基本能够满足各种数据分析类的场景，并且随着数据体量的增大，它与Spark、Impala、Kylin对比，优势也会变得越为明显。
数据仓库技术选型
想练武，就得下功夫
10-22 1477
文章目录数据采集传输数据存储数据计算数据查询数据可视化任务调度集群监控元数据管理权限管理 数据采集传输 Flume Kafka Sqoop Logstash DataX 数据存储 MySQL HDFS HBase Redis MongoDB 数据计算 Hive Tez Spark Flink Storm 数据查询 Presto Kylin Impala Druid ClickHouse Doris 数据可视化 Echarts Superset QuickBI DataV 任务调度 A
【数仓建设系列之五】数仓选型架构概览
weixin_43914798的博客
09-11 2813
离线数仓（Offline Data Warehouse）和实时数仓（Real-time Data Warehouse）是数仓领域两种常见的数据存储和处理架构，它们在数据处理的方式、目标和时间性上有所不同，本文将重点介绍目前主流实时数仓架构设计。
实时数仓方案如何选型和构建
Sunny的专栏
06-16 1553
在正式讨论实时数仓前，我们先看下行业对实时数仓的主要需求，这有助于我们理解实时数仓各种方案设计的初衷，了解它是基于哪些需求应运而生的。这也将帮助我们从更多维度上思考需求、条件、落地难点等等一些关键要素之间如何评估和权衡，最终实现是基于现有条件下的功能如何将其价值最大化。传统意义上我们通常将数据处理分为离线的和实时的。对于实时处理场景，我们一般又可以分为两类：基于以上查询需求，业界常见的实时数仓方案有这几种： Kapp架构了解，可参考：Kappa架构Kappa架构将多源数据（用户日志，系统日志，BinLog日
实时数仓方案如何选型和构建（建议收藏）
小赵的博客
04-04 1039
本文介绍了市面上常见实时数仓方案，并对不同方案的优缺点进行了介绍。在使用过程中我们需要根据自己的业务场景选择合适的架构。另外想说明的是实时数仓方案并不是“搬过来”，而是根据业务“演化来”的，具体设计的时候需要根据自身业务情况，找到最适合自己当下的实时数仓架构。延申思考我们在实时数仓的构建过程中比较大的争议是采用标准分层体系+流计算+数据湖的方案，还是试用基于全场景MPP数据库实现。
实时数仓方案五花八门，实际落地如何选型和构建！
huzechen的博客
07-12 459
【作者介绍】王磊，阿里云 MVP，华院计算技术总监。著有：《图解 Spark 大数据快速分析实战》；《offer 来了：Java 面试核心知识点精讲（原理篇）》；《offer 来了：Java 面试核心知识点精讲（架构篇）》。编辑 | 韩楠约4,989字 | 10 分钟阅读01文章概览（一至五）✦一、为何需要实时数仓架构二、数仓如何分层&各层用途三、数仓分层的必...
滴滴实时数仓：Flink实践与2022年解决方案
9. **未来规划**：最后，文档展望了滴滴在实时数仓领域的未来发展方向，可能包括技术升级、数据增长的应对策略以及与其他系统的集成。 这篇文档深入剖析了滴滴如何利用Flink构建实时数仓，为其他企业在相似场景下...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值