【大数据OLAP引擎】图文详解 Apache Doris 架构

最新推荐文章于 2024-11-23 17:18:29 发布
最新推荐文章于 2024-11-23 17:18:29 发布
阅读量1.7w 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： AI人工智能与大数据 文章标签： 数据库 apache olap 大数据 doris
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/universsky2015/article/details/129807752
Apache Doris是一个高性能、实时的分析型数据库，支持高并发查询和复杂分析。它采用MPP架构，提供列式存储、丰富的索引结构和多种存储模型。Doris适用于报表分析、即席查询、统一数仓和数据湖联邦查询。其特点包括标准SQL接口、列式存储引擎、MPP架构设计和动态调整执行计划等。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

深入了解Apache Doris

一、Apache Doris介绍

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以 支持高并发的点查询场景，也能支持高吞吐的复杂分析场景 。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。

Apache Doris 最早是诞生于百度广告报表业务的 Palo 项目，2017 年正式对外开源，2018 年 7 月由百度捐赠给 Apache 基金会进行孵化，之后在 Apache 导师的指导下由孵化器项目管理委员会成员进行孵化和运营。目前 Apache Doris 社区已经聚集了来自不同行业近百家企业的 400 余位贡献者，并且每月活跃贡献者人数也接近 100 位。 2

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【大数据OLAP引擎】图文详解 Apache Kylin 架构原理
AI天才研究院
03-28 1万+
对于Hive中的维度表和事实表，根据我们指定的维度列来构建cube，cube是所有维度的组合，任一维度的组合称为cuboid，即：cube中包含所有的cuboid。正规化也是一种比较复杂的过程，相应的数据库结构设计、数据的 ETL、以及后期的维护都要复杂一些。MOLAP （Multidimension OLAP）： MOLAP支持数据的多维视图，采用多维数据组存储数据，它把维映射到多维数组的下标或下标的范围，而事实数据存储在数组单元中，从而实现了多维视图到数组的映射，形成了立方体的结构。
【大数据 OLAP ClickHouse 引擎】ClickHouse 系统架构和存储引擎实现原理 : 为什么 ClickHouse 这么快？ Why is ClickHouse so fast?
AI天才研究院
03-01 4万+
ClickHouse 是一款由俄罗斯 Yandex 公司开发的 C++ 开源高性能 OLAP 组件。在 Yandex 内部, ClickHouse 主要用于在线流量分析产品 Yandex Metrica，类似于 Google Analytics 或者百度统计。ClickHouse是一款MPP架构的列式存储数据库，但MPP和列式存储并不是什么"稀罕"的设计。拥有类似架构的其他数据库产品也有很多，但是为什么偏偏只有ClickHouse的性能如此出众呢？
Apache Doris 架构原理及特性(四)
野狼e族 的博客
04-01 4928
5、架构原理 5.1 Doris整体架构 Doris主要分为FE和BE两个组件，FE主要负责查询的编译，分发和元数据管理（基于内存，类似HDFS NN）；BE主要负责查询的执行和存储系统 1、这张图是Doris的整体架构。Doris的架构很简洁，只设FE(Frontend)、BE(Backend)两种角色、两个进程，不依赖于外部组件，方便部署和运维。 2、以数据存储的角度观之，FE存储、维护集群元数据；BE存储物理数据。 3、以查询处理的角度观之, FE节点接收、解析查询请求，规划查询计划，调
Apache Doris的架构讲解
Bulut0907
08-11 912
用来扩展查询节点，同时起到元数据备份的作用。如果在发现集群压力非常大的情况下，需要去扩展整个查询的能力，那么可以加observer节点。封装了文件系统接口，提供Doris读取远端存储系统中文件的能力，包括HDFS、S3、BOS等。主要是用来达到元数据的高可用，保证单节点宕机的情况下，元数据能够实时地在线恢复，而不影响整个服务。Doris借助MySQL协议，用户使用任意MySQL的ODBC/JDBC以及MySQL的客户。数据的可靠性由BE保证，BE会对整个数据存储多副本或者是三副本。...
Doris简介、部署、功能介绍以及架构设计
热门推荐
wt334502157的博客
05-10 5万+
​ Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。
Apache Doris整体架构、FE元数据管理及数据组织
weixin_42886699的博客
08-22 994
Doris主要分为FE和BE两个组件，FE主要负责查询的编译，分发和元数据管理（基于内存，类似HDFS NN）；BE主要负责查询的执⾏和 存储系统。1、这张图是Doris的整体架构。Doris的架构很简洁，只设FE(Frontend)、BE(Backend)两种⾓⾊、两个进程，不依赖于外部组件，⽅便 部署和运维。2、以数据存储的⾓度观之，FE存储、维护集群元数据；BE存储物理数据。3、以查询处理的⾓度观之, FE节点接收、解析查询请求，规划查询计划，调度查询执⾏，返回查询结果；
[Doris] Doris架构原理 (一)
959
10-04 4795
1.介绍 Doris是一个MPP的OLAP系统，以较低的成本提供在大数据集上的高性能分析和报表查询功能。 MPP (Massively Parallel Processing)，即大规模并行处理。简单来说，MPP是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到最终的结果(与Hadoop相似) 注：MPPDB与Hadoop都是将运算分布到节点中独立运算后进行结果合并(分布式计算)，但由于依据的理论和采用的技术路线不同而有各自的优缺点和适用范围。 我们现在大数据存储
【大数据】大数据OLAP查询引擎选型对比
wnm23的专栏
04-10 7512
目前大数据比较常用的OLAP查询引擎包括：Presto、Impala、Druid、Kylin、Doris、Clickhouse、GreenPlum等。不同引擎特点不尽相同，针对不同场景，可能每个引擎的表现也各有优缺点。
大数据OLAP引擎
wzluestc的博客
12-03 3213
OLAP（Online AnalyticalProcessing）是一种数据处理技术，专门设计用于支持复杂的分析操作，本文介绍目前几种主流OLAP引擎的对比，及各自的特点。
推荐：一个不错的介绍Apache Doris的PPT
jackyrongvip的专栏
12-30 657
链接: https://pan.baidu.com/s/18WR70R_f72GxCjh0lykStQ 提取码: umd3 复制这段内容后打开百度网盘手机App，操作更方便哦。原来Apache Doris居然是百度开源出来的，不错。--来自百度网盘超级会员v7的分享。
Apache Doris (二) ：Doris架构原理及特点
qq_32020645的博客
06-23 2488
Doris整体架构如下图所示：Doris 架构非常简单，只有两类进程FE和BE，这两类进程都是可以横向扩展的，单集群可以支持到数百台机器，数十 PB 的存储容量。并且这两类进程通过一致性协议来保证服务的高可用和数据的高可靠。这种高度集成的架构设计极大的降低了一款分布式系统的运维成本。主要负责用户请求的接入、查询解析规划、元数据的存储、节点管理相关工作。FE又分为，默认一个Doris集群中只能有一个Leader，可以有多个Follwer和Observer。
Doris架构原理
张伟的专栏
03-03 734
Doris是一个MPP的OLAP系统，以较低的成本提供在大数据集上的高性能分析和报表查询功能。MPP (Massively Parallel Processing)，即大规模并行处理。简单来说，MPP是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到最终的结果(与Hadoop相似)注：MPPDB与Hadoop都是将运算分布到节点中独立运算后进行结果合并(分布式计算)，但由于依据的理论和采用的技术路线不同而有各自的优缺点和适用范围。
OLAP引擎之Doris
youziguo的专栏
07-29 1478
Apache Doris是一个开源的实时OLAP（Online Analytical Processing）数据库管理系统，最初由百度开发，并于2017年捐赠给Apache Software Foundation，目前已成为 Apache 顶级项目。Doris旨在提供高效的查询性能和易于使用的数据分析解决方案，特别适用于实时数据分析和大数据处理场景。以下是对 Apache Doris 的详细介绍：
【OLAP】Doris学习笔记
zuzhiang的博客
02-05 1516
Apache Doris是由百度贡献的开源MPP分析型数据库产品，亚秒级查询响应时间，支持实时数据分析；分布式架构简洁，易于运维，可以支持10PB以上的超大数据集；可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。Doris是一个现代化的MPP（Massively Parallel Processing，即大规模并行处理）分析型数据库产品。仅需亚秒级响应时间即可获取查询结果，可以支持10PB以上的超大数据集。
[2.0快速体验]Apache Doris 2.0 弹性计算节点快速体验
锋哥聊DORIS数仓
06-05 1266
这样这种节点其实就变成了一个无状态的 BE 节点，我们可以非常容易的进行弹性伸缩，不需要想之前混合节点那样，在扩展集群的时候，需要等待 tablet 副本均衡完成，这个节点才能进行有效的负载。然后我们将节点加入到集群之后，并启动节点，查看 BE 的信息，可以看到，NodeRole 这个字段，如果是 mix 表示为混合节点，如果是computation表示为计算节点。查看我们刚才执行的 SQL Profile 可以看到，这个Catalog外表的计算是在计算节点上进行的，并不是在混合节点上。
Doris实践——叮咚买菜基于OLAP引擎的应用实践
爱吃辣条的博客
03-28 1787
Doris实践——叮咚买菜基于OLAP 引擎的应用实践
Doris为数据分析而生的olap数据库：数据模型和数据分区使用详解
HD0do的博客
04-04 4823
Doris数据模型和数据分区使用详解，实现Doris动态分区
大数据笔记之doris的安装部署
最新发布
m0_37635053的博客
11-23 1414
Apache Doris 是一个现代化的 MPP（Massively Parallel Processing，即大规模并行处理）分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris 的分布式架构非常简洁，易于运维，并且可以支持 10PB 以上的超大数据集。
大数据--分布式存储 Hadoop
weixin_43308879的博客
01-13 2167
HDFS（分布式文件系统）：解决海量数据存储MAPREDUCE（分布式运算编程框架）：解决海量数据计算YARN（作业调度和集群资源管理的框架）：解决资源任务调度。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI天才研究院

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值