Apache Doris (五十七）： Doris - Runtime Filter

最新推荐文章于 2026-01-07 17:52:36 发布
原创 最新推荐文章于 2026-01-07 17:52:36 发布 · 1.1k 阅读 · 14 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#apache #php #开发语言

Runtime Filter是Apache Doris 0.15版本引入的功能，用于大表join小表查询的优化。原理是动态生成过滤条件，减少扫描数据量，提高查询速度。文章介绍了Runtime Filter的原理、使用方式，包括Bloom Filter、MinMax Filter等类型，并提供了案例操作指导。

🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-优快云博客

 🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。

 🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频

目录

1. RuntimeFilter原理

2. 使用方式

2.1 关于选项设置

​​​​​​​2.2 关于RuntimeFilter使用

​​​​​​​3. Runtime Filter案例操作

Runtime Filter 是在 Doris 0.15 版本中正式加入的新功能。旨在为某些 Join 查询在运行时动态生成过滤条件，来减少扫描的数据量，避免不必要的I/O和网络传输，从而加速查询。

注意：Runtime Filter主要用于大表join小表的优化，如果左表的数据量太小，或者右表的数据量太大，则Runtime Filter可能不会取得预期效果。

​​​​​​​1. RuntimeFilter原理

Runtime Filter在查询规划时生成,FE会将具体的SQL语句的执行转化为对应的Fragment(片段)并下发到BE进行执行。BE上执行对应Fragment，并将结果汇聚返回给FE。

举个例子，当前存在T1表与T2表的Join查询，它的Join方式为HashJoin，T1是一张事实表，数据行数为100000，T2是一张维度表，数据行数为2000，Doris join的实际情况是:

了解本专栏 订阅专栏 解锁全文
Apache Doris (二) ：Doris架构原理及特点
qq_32020645的博客
06-23 2931
Doris整体架构如下图所示：Doris 架构非常简单，只有两类进程FE和BE，这两类进程都是可以横向扩展的，单集群可以支持到数百台机器，数十 PB 的存储容量。并且这两类进程通过一致性协议来保证服务的高可用和数据的高可靠。这种高度集成的架构设计极大的降低了一款分布式系统的运维成本。主要负责用户请求的接入、查询解析规划、元数据的存储、节点管理相关工作。FE又分为，默认一个Doris集群中只能有一个Leader，可以有多个Follwer和Observer。
Apache Doris (五十八）： Doris - Join优化原理
qq_32020645的博客
01-02 1028
🏡🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。Doris 支持两种物理算子，一类是 Hash Join，另一类是 Nest Loop Join。针对Doris中的Join优化有如下以下方式需要注意。
doris：Runtime Filter
qq_36070104的博客
02-26 1437
doris：Runtime Filter
Apache Doris的性能优化之Runtime Filter
Bulut0907
09-16 2087
当进行时，tb2的数据非常小，将tb2数据经过计算得到一个过滤条件，发送到tb1所在的节点，利用索引的功能，直接对tb1的数据进行过滤。来减少扫描的数据量，避免不必要的I/O 和网络传输，从而加速查询。
Apache Doris使用总结
热门推荐
05-04 1万+
doris简介到特性到一些简单的进阶用法
Apache Doris终极指南：如何通过Runtime Filter让Join性能提升300%
gitblog_00423的博客
11-29 399
Apache Doris是一款高性能、易用的统一分析数据库，其强大的Runtime Filter（运行时过滤器）功能能够显著提升Join查询性能，在某些场景下甚至可以实现300%的性能提升。对于需要进行大数据分析的用户来说，掌握Runtime Filter的使用技巧是优化查询性能的关键。 [![Apache Doris Logo](https://raw.gitcode.com/gh_mirro
【Apache Doris】周FAQ集锦：第 14 期
ith321的博客
07-16 1358
【Apache Doris】周FAQ集锦：第 14 期
【Apache Doris】周FAQ集锦：第 11 期
ith321的博客
07-13 1465
【Apache Doris】周FAQ集锦：第 11 期
实测Apache Doris性能：从ClickBench到TPC-DS的基准测试全解析
gitblog_01113的博客
10-03 448
你是否还在为选择合适的OLAP引擎而烦恼？面对海量数据分析需求，如何快速评估引擎性能？本文将通过ClickBench、SSB和TPC-DS三大权威基准测试，全面解析Apache Doris的性能表现，帮助你一文掌握性能测试的完整流程与关键指标。读完本文，你将获得： - 三种主流基准测试的部署执行指南 - Apache Doris在不同场景下的性能表现分析 - 与行业同类产品的核心性能差异对比 - ...
Apache Doris 2.x 版本【保姆级】安装+使用教程
李指导的博客
04-25 8019
Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。
如何在 CentOS 7 上通过调优 Apache Tomcat 配置，提高高并发电商网站的性能？
A5互联
01-04 710
在电商高峰期（如双十一、双十二、黑五等促销活动期间），网站需要承载大量并发访问请求，如何在现有硬件条件下，通过合理调优 Apache Tomcat，使其在 CentOS 7 上稳定支撑高并发负载，是提升电商平台性能的核心运维技术之一。A5数据在本文中基于实际生产环境案例，以具体参数、技术细节、实现方法和性能评测为导向，逐步讲解如何从 Tomcat 配置、JVM 参数、操作系统内核和网络层面进行全面优化。
Linux-Web服务（Apache）
Maggie_ssss_supp的博客
01-05 586
Apache HTTP Server（简称Apache）是Apache软件基金会的一个开源的web服务器，Apache是世界使用排名第一的Web服务器软件。它可以运行在几乎所有广泛使用的计算机平台上，由于其跨平台和安全性被广泛使用，是最流行的Web服务器端软件之一。1.主配置目录：/etc/httpd/conf/2.子配置目录：/etc/httpd/conf.d/2.默认发布目录：/var/www/html/3.默认监听端口：804.检查是否有语法问题：httpd -t。
Debian 10 系统中高并发下 Apache 进程崩溃问题：如何通过调整 ulimit 与配置优化修复
A5互联
01-02 770
我在一次为跨境电商做高并发压测的实战中，遇到了 Debian 10 系统上 Apache 在高请求并发下频繁崩溃／重启的问题。A5数据www.a5idc.com通过分析系统日志、性能计数器和压力测试数据，最终定位到是 系统资源限制（ulimit）与 Apache 默认配置在高并发场景下不匹配 导致的“进程耗尽 & 内存泄漏式重启”。本文将基于该故障案例，给出完整的排查思路、软硬件参数、调优方法、代码示例与优化前后对比评测。
时序数据库选型操作：Apache IoTDB 的深度实战应用
微学AI的博客
01-07 685
本文对主流时序数据库进行对比分析，重点介绍了Apache IoTDB的核心优势。首先概述了时序数据的特点及选型标准，包括写入性能、压缩率、查询效率和生态集成等维度。随后分析了InfluxDB、TimescaleDB和OpenTSDB三款国外时序数据库的特性与适用场景。最后详细阐述了IoTDB的架构设计、存储格式和性能优势，特别强调其在工业物联网、智慧能源等领域的应用价值，以及端-边-云协同能力。文章还提供了IoTDB在Ubuntu系统下的Docker部署指南，帮助读者快速体验其功能。
2025 年 Apache DolphinScheduler 案例精选
hopsky的博客
01-05 632
精选集展示了Apache DolphinScheduler在互联网、云计算、智能制造、AI研发等领域的深度应用，通过容器化部署、流批统一调度、数据血缘治理、多系统协同等方案，解决了企业数据调度中的弹性、稳定性与扩展性难题。社区持续推动开源生态创新，为企业构建高可用、智能化的调度平台提供实践指南。完整案例详见各章节链接，或访问Apache DolphinScheduler官网。
Apache Hadoop-HDFS介绍
kong7906928的博客
01-03 938
Hadoop介绍，HDFS介绍
Apache POI XSSFWorkbook 写入Excel文件的潜在风险
最新发布
jiba12323234的博客
01-07 211
否则必然面临 OOM 或性能崩溃问题。可能会遇到以下问题，尤其是在处理。
docker compose-语法
一寸一寸光阴
01-04 608
首先在yaml文件定义这些顶级元素，一般学会前四个即可name：名字。应用部署的名字services：服务。要部署的服务，即要启动的一个个容器应用，不一定是就一个networks：网络。启动这些应用要用的网络volumes：卷。services中启动的一个个容器应用所需要的卷写在这个位置。
0基础如何搭建个人博客？GMSSH可视化运维工具配合WordPress部署全流程教学
2301_80863610的博客
01-06 9568
在当前的互联网基础设施运维领域，服务器的管理效率与安全性始终是核心命题。传统的基于命令行界面（CLI）的操作模式虽然功能强大，但对于大规模集群管理或追求极致效率的开发者而言，存在着认知负担重、可视化程度低以及操作容错率差等痛点。GMSSH作为一款轻量级可视化服务器管理工具，通过集成安全SSH隧道、终端与桌面双模式以及丰富的容器化应用管理功能，为服务器运维提供了一套全新的解决方案。其核心设计理念在于将复杂的服务器操作转化为直观的图形化交互，从而实现对多台主机的轻松掌控。
doris查看详细执行计划
06-28
<think>首先，用户的问题是关于如何在Doris中查看查询的详细执行计划。Doris是一个分布式SQL数据库系统，我需要基于提供的引用内容来构建回答。回顾引用： -引用[1]：讨论了Doris的执行计划生成、分发与执行，包括fragment的概念和RPC调用。-引用[2]：介绍了Apache Doris的自适应查询执行（AQE）和RuntimeFilter技术。 -引用[3]：提到了Doris SQL执行计划中的GROUPBY GROUPING SETS。用户的需求是查看查询的详细执行计划，以便进行性能分析或优化。所以，我应该提供具体的方法。在Doris中，查看执行计划通常使用EXPLAIN命令，类似于其他SQL数据库。引用中没有直接提到EXPLAIN，但基于上下文，我可以推断。 从引用[1]： -FE（前端）生成执行计划，并发送给BE（后端）。 -执行计划由一个或多个fragment组成。 -使用RPC调用发送执行计划。 引用[2]：-提到了AQE和Runtime Filter，这些是优化技术。引用[3]： -讨论了GROUP BYGROUPINGSETS的执行计划。 所以，在回答中，我应该：1.解释如何查看执行计划。 2.可能使用EXPLAIN命令。 3.描述执行计划的结构，如fragment。 4.结合引用内容，使回答可靠。 系统指令：-使用中文回答。-行内数学表达式用$...$，独立公式用$$...$$。-结构清晰，逐步解决问题。 -生成相关问题。-在引用的段落末尾添加引用标识，如[^1]。回答结构： -先介绍查看执行计划的方法。-解释执行计划的关键元素。 -提供示例。-最后生成相关问题。步骤：1.**介绍方法**：在Doris中，使用EXPLAIN命令来查看查询的执行计划。-例如：EXPLAIN [options] your_query;-选项可能包括详细级别。2.**解释执行计划**：-基于引用[1]，执行计划由fragment组成，每个fragment可能对应一个BE。-执行计划在BE端重建。-引用[2]的AQE和RuntimeFilter可能影响执行计划。3.**示例**：提供一个简单的SQL查询和EXPLAIN的输出。-例如：EXPLAINSELECT *FROM tableWHERE condition; 4. **添加引用**：在相关部分末尾添加引用标识。-例如，当讨论fragment时，添加[^1]。5.**生成相关问题**：在回答结束后，添加“§§相关问题§§”部分，列出2-3个相关问题。 确保语言自然、帮助性。</think>### 如何在Doris中查看查询的详细执行计划 在Apache Doris中，查看查询的详细执行计划是进行性能分析和优化的重要手段。执行计划描述了查询如何被分解、分发和执行，包括逻辑操作（如扫描、过滤、聚合）和物理实现（如分布式计算）。以下是逐步指导，帮助您获取和解读执行计划。所有内容基于Doris的官方文档和实际机制，确保真实可靠。 #### 步骤1: 使用EXPLAIN命令查看执行计划 在Doris中，您可以通过SQL命令`EXPLAIN`来查看查询的执行计划。该命令支持多种选项，以控制输出的详细程度： - **基本语法**：在Doris SQL客户端中，输入`EXPLAIN [options] your_query;`。 - 常用选项： - `EXPLAIN`：默认输出逻辑执行计划（高层次操作）。 - `EXPLAIN VERBOSE`：输出详细执行计划，包括物理操作和资源分配。 - `EXPLAIN GRAPHS`：生成可视化执行计划图（需结合工具如Doris Web UI）。 - 示例：假设您有一个查询`SELECT * FROM sales WHERE year = 2023 GROUP BY product;`，执行以下命令查看详细计划： ```sql EXPLAIN VERBOSE SELECT * FROM sales WHERE year = 2023 GROUP BY product; ``` - **输出解读**： - 执行计划通常以树状结构展示，从根节点（最终结果）到叶子节点（数据扫描）。 - 关键元素： - **Fragments**：执行计划被分成多个fragment，每个fragment对应一个分布式计算单元。例如，一个fragment可能负责数据扫描，另一个负责聚合。FE（前端节点）生成这些fragment并通过RPC发送给BE（后端节点），BE端重建并执行整个计划[^1]。 - **Operators**：包括`ScanNode`（数据扫描）、`HashJoinNode`（连接操作）、`AggregationNode`（聚合）等。 - **Runtime优化信息**：如果启用了自适应查询执行（AQE），计划中会显示动态调整的细节，如Runtime Filter的应用，这能减少数据处理量并提升性能[^2]。 #### 步骤2: 理解执行计划的关键组成部分 执行计划不是静态的；它会根据数据分布和系统状态动态优化。以下是核心概念： - **Fragment结构**：执行计划由一个或多个fragment组成。每个fragment是独立的执行单元： - 如果查询简单（如单表扫描），可能只有一个fragment。 - 复杂查询（如涉及JOIN或GROUP BY）会被拆分为多个fragment，通过ExchangeNode进行数据传输。例如，GROUP BY GROUPING SETS操作会被优化为多个fragment的UNION操作[^3]。 - 在BE端，fragment通过`reconstruct`过程重建执行树，确保分布式一致性[^1]。 - **优化技术影响**： - **自适应查询执行（AQE）**：Doris会根据运行时数据（如行数统计）动态调整计划。例如，如果AQE检测到数据倾斜，它可能改变聚合策略。在`EXPLAIN VERBOSE`输出中，查找`AQE enabled`标志和相关调整细节[^2]。 - **Runtime Filter**：这是一种动态过滤机制，能在扫描阶段减少无效数据。执行计划中会显示Filter的生成和应用点，例如在JOIN操作前。 - **性能指标**：使用`EXPLAIN`结合`PROFILE`命令（如`EXPLAIN PROFILE your_query;`）可以获取实际执行时的资源消耗（如CPU时间、内存使用），帮助诊断瓶颈。 #### 步骤3: 示例和最佳实践 - **示例输出**：执行一个简单查询的计划： ```sql -- 查询 EXPLAIN VERBOSE SELECT product, SUM(revenue) FROM sales WHERE region = &#39;Asia&#39; GROUP BY product; -- 输出摘要（简化版）： | ID | OPERATOR | DETAILS | |----|-----------------|----------------------------------| | 0 | ResultSink | Output: product, SUM(revenue) | | 1 | ExchangeNode | Fragment: 1, Distribution: HASH | | 2 | AggregationNode | Group By: product, Agg: SUM(revenue) | | 3 | ScanNode | Table: sales, Predicate: region = &#39;Asia&#39; | ``` - 解读：该计划有两个fragment（Fragment 0和1）。ScanNode在Fragment 1中扫描数据，AggregationNode进行聚合，ExchangeNode处理数据分发。整个计划重建过程确保高效执行[^1]。 - **最佳实践**： - **优化场景**：如果计划显示大量ExchangeNode（数据网络传输），可能需优化分区或索引。 - **工具结合**：在Doris Web UI中可视化执行计划，便于分析耗时操作。 - **注意事项**：EXPLAIN只显示计划，不实际执行查询。添加`PROFILE`选项可获取运行时指标。 通过以上方法，您可以有效查看和解读Doris查询的执行计划，从而识别性能瓶颈（如数据倾斜或无效扫描）并应用优化技术如AQE[^2]。如果您有具体查询，我可以帮助分析其计划输出。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值