2022-11-02 myql-StarRocks-Join 查询优化

已于 2022-11-02 20:49:32 修改
阅读量343 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： mysql 文章标签： 数据库 sql star rocks
于 2022-11-02 20:41:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/adofsauron/article/details/127658555
本文深入探讨了StarRocks在Join查询优化方面的经验与探索，包括Join背景、逻辑优化、Join Reorder及分布式Join规划。重点介绍了优化原则、谓词转换、等价推导和分布式Join的优化策略，旨在提高SQL性能和减少网络成本。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

摘要:

https://mp.weixin.qq.com/s/Fv_FaoYDGZuPt4TBHPg-wg

主要介绍 StarRocks 在 Join 查询规划上的经验和探索。文章主要分为四个部分：Join 背景，Join 逻辑优化，Join Reorder，分布式 Join 规划。

#01

Join 背景

—

1

Join 类型

上图列举了常见的 Join 类型：

  • Cross Join：左表和右表的一个笛卡尔积。

  • Full / Left / Right Outer Join：Outer Join 需要根据语义，对两表/左表/右表上没有匹配上的行

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【架构】-- StarRocks 和 Doris 介绍与选型建议
欢迎来到我的博客，一起探索代码里的世界！
04-21 624
查询性能 | ✅ 高性能，支持向量化执行和 CBO 优化器 | ✅ 高性能，优化的查询引擎 |- **实时性要求高**：如果业务对数据的实时性要求较高，建议选择 **StarRocks**，其在实时数据处理和低延迟查询方面表现优越。- **复杂查询需求**：对于需要处理复杂多表关联查询的场景，两者均可胜任，需根据具体性能测试结果进行选择。
StarRocks从入门到精通系列三：创建表和导入和查询数据
zhengzaifeidelushang的博客
11-16 1962
StarRocks从入门到精通系列三：创建表、导入和查询数据
StarRocks 技术内幕 | Join 查询优化
StarRocks的博客
11-03 2997
本文整理自作者在 StarRocks 线下 MeetUp 的分享，主要介绍 StarRocks 在 Join 查询规划上的经验和探索。文章主要分为四个部分：Join 背景，Join 逻辑优化，Join Reorder，分布式 Join 规划。
StarRocks-join优化
weixin_36630761的博客
11-27 360
有两个大表，都是6kw级别上下的，通过SR然后包装了一个接口对外提供查询，当前的问题是，这样大的join查询会导致BE直接宕机。这个表是个单分区，所以直接查全表没啥问题。最后其实是要输出的是limit 10。我这里是模拟两个表之间的join操作,看下profile。扫描的数据大大减少，还是很牛的，欢迎交流。那么这个limit 10能否下推呢？2. profile日志。看profile就更炸裂了。查询不到一秒出结果。查询不到一秒出结果。
StarRocks几种典型join的理解
weixin_42487706的博客
01-26 977
StarRocks几种典型join的理解
第6.3章：StarRocks查询加速——Bucket Shuffle Join
爱吃辣条的博客
02-25 2035
第6.3章：StarRocks查询加速——Bucket Shuffle Join
Mysql与StarRocks语法上的不同
CSBIGDOG的博客
03-02 3745
StarRocks 是新一代极速全场景 MPP (Massively Parallel Processing) 数据库。StarRocks 的愿景是能够让用户的数据分析变得更加简单和敏捷。用户无需经过复杂的预处理，可以用StarRocks 来支持多种数据分析场景的极速分析。
sql server ,mysql,starrocks性能对比.docx
04-15
本文旨在通过实际场景下的性能测试来对比SQL Server、MySQL以及StarRocks这三种数据库管理系统在处理相同查询时的表现。测试环境分别为： - **SQL Server**：209莱芜农引WinServer系统，8核2.1GHz CPU，32GB内存。 ...
StarRocks-Profile分析及优化指南
weixin_43993184的博客
05-20 4477
背景 我们时常遇到sql执行时间不及预期的情况，为了优化sql达到预期查询时延，我们能够做哪些优化。本文旨在分析查询profile各阶段耗时是否合理以及对应优化方式。 准备 打开profile分析上报。 使用mysqlclient连接starrocks集群， mysql -h ip -P9030 -u root -p xxx 然后输入 ##该参数开启的是session变量，若想开启全局变量可以set global is_report_success=true;一般不建议全局开启，会略微
Mysql进阶优化篇05——子查询的优化和排序优化
半旧518的博客
08-16 4047
子查询优化与排序优化
MySQL增量实时同步到StarRocks
shlc的博客
02-06 1062
是一个用go语言开发的，用于mysql实时同步到starrocks的工具组件，方便构建实时数仓。
使用StarRocks内置工具Routine Load同步Mysql/TiDB/PG等增量更新数据到StarRocks
gongxiucheng的专栏
04-26 5884
什么是StarRocks？ StarRocks是新一代极速统一的olap新型mpp分析型数据库，全面向量化引擎，全新的CBO优化器，性能强悍，单表查询媲美业界最强悍的clickhouse，支持多表join，支持数据秒级更新； 且同时支持高并发，架构简单，方便运维扩展，完全国产，安全可控，在国内外各行各业已经得到了广泛使用。 StarRocks提供了丰富的数据接入方式：stream load，routine load，broker load，spark load等，对接比如本地文件，对象存储，hdfs，
StarRocks查询性能优化--Runtime Filter
weixin_45731421的博客
02-10 2152
目录 前言 一.什么是Runtime Filter 二.StarRocks中的Runtime Filter 1.StarRocks中Runtime Filter的简单应用示例： 2.StarRocks中的两种RF Local RF Global RF 三.StarRocks中什么时候会创建Runtime Filter 前言 在众多OLAP数据库设计中，设计者都比较重视SQL的JOIN效率以支持用户更好的实现业务，作为新一代极速全场...
游族网络xStarRocks：高效助力数据查询，灵活应对多维分析
StarRocks的博客
10-29 3281
游族网络立足全球化游戏研发与发行，成功推出了《少年三国志》系列、《女神联盟》系列、《盗墓笔记》、《权力的游戏：凛冬将至》、《圣斗士星矢：觉醒》等多款知名游戏产品，在海外积累 1000 多个合作伙伴，发行范围遍及欧美、中东、亚洲及南美等 200 多个国家及地区，全球累计近 10 亿用户。
【项目经验】使用 Docker 配置环境
冠位优化
06-23 570
使用 Docker 配置环境，相关问题的解决方案。
软考高级系统架构设计师备考计划（嵌入式工程师专版）
最新发布
bifudoph的博客
06-24 516
本文为嵌入式工程师量身定制了系统架构设计师5-6个月的备考计划。计划分为四个阶段：基础巩固（1.5个月）、核心突破（2个月）、专题强化（1.5个月）和冲刺模考（1个月），强调将嵌入式经验（如硬件架构、实时系统）转化为架构设计优势。提供了详细的学习内容、时间分配、实战案例及嵌入式关联强化方法，包括论文选题方向、答题模板和应试技巧。特别推荐嵌入式相关学习资料和工具，建议通过项目案例结合架构理论进行备考，最后给出进度跟踪表和考前准备指南。
在Windows上配置MySQL远程访问用户及权限的完整指南
m0_58530495的博客
06-24 508
本文详细介绍了在Windows系统配置MySQL远程访问的完整流程：首先以管理员身份登录MySQL，创建特定IP限制的远程用户并授予精细化权限；然后修改配置文件(my.ini)解除本地绑定限制，重启服务；接着配置防火墙开放3306端口；最后通过命令行和图形工具测试连接。文章特别强调安全实践，包括IP限制、最小权限原则、SSL加密等防护措施，并提供了常见问题解决方案。整个流程兼顾便捷性与安全性，适合开发和运维场景使用。
python测试温度传感器写入数据库
06-22 406
测试数据库写入功能，可以用随机数生成模拟温度数据。'%H:%M:%S'
MySQL
m0_46168903的博客
06-19 911
SQL（Structured Query Language）是一种专门用于管理关系型数据库系统的标准计算机语言，用于与数据库交互的语言，MySQL是一个具体的数据库管理系统，它接受并解释SQL语句来完成对数据库的各种操作。换句话说，MySQL是SQL语言的一个运行环境，通过这个环境，用户可以利用SQL的强大功能来管理MySQL数据库中的数据。DDL用于定义数据库的结构，包括创建、修改和删除数据库对象（如表、视图、索引等）。常用的DDL命令有：CREATE：创建新的数据库或数据库对象。
starrocks join
03-26
### StarRocks 中 JOIN 的用法与优化 #### 1. 星型模型中的 JOIN 使用场景 StarRocks 是一种专为 OLAP 场景设计的分布式数据库，广泛应用于星型模型的数据仓库架构中。在这种架构下，JOIN 常用于连接事实表和维度表。例如，在零售分析场景中，可以通过以下 SQL 查询实现销售数据与产品信息的关联： ```sql SELECT f.sale_amount, d.product_name FROM fact_sales AS f LEFT JOIN dim_product AS d ON f.product_id = d.product_id; ``` 此查询展示了如何通过 `LEFT JOIN` 将事实表 (`fact_sales`) 和维度表 (`dim_product`) 进行连接[^1]。 --- #### 2. 左连接 (Left Join) 和 右连接 (Right Join) 的性能优化 在 StarRocks 中，左连接和右连接的选择取决于业务需求以及数据分布特性。通常建议优先考虑小表作为驱动表（Build Side），以减少内存消耗并提升执行效率。如果存在较大的事实表和较小的维度表，则应将维度表设置为 Build Side。 对于复杂的多层嵌套 JOIN 操作，可以参考 MySQL 的优化策略来重构查询逻辑。例如，当涉及多个子查询时，可将其转换为显式的笛卡尔积形式再附加过滤条件[^2]: ```sql -- 复杂嵌套 JOIN 转化为显式笛卡尔积 SELECT * FROM table_1 t1 LEFT JOIN ( SELECT * FROM table_2 t2 CROSS JOIN table_3 t3 WHERE t2.a = t3.b ) subquery ON t1.id = subquery.t2_a; ``` 上述方法有助于简化计划树结构，从而降低解析开销。 --- #### 3. 排序合并连接 (Sort-Merge Join) vs Hash Join 在处理大规模数据集时，选择合适的物理算子至关重要。Hash Join 更适合于中小规模的数据集；而 Sort-Merge Join 则适用于那些无法完全加载到内存的大文件操作。这是因为 SMJ 不仅能够有效利用磁盘 I/O 来完成排序过程，而且还能保持较低的时间复杂度 O(n log n)[^3]。 然而需要注意的是，无论采用哪种方式都需要确保参与比较的关键字已经过适当索引或者分区预处理，这样才能最大程度发挥算法优势。 --- #### 4. 实际案例分享 - 高效批量导入后的 JOIN 加速技巧 假设我们正在构建一个电商推荐系统，并希望快速统计每种商品在过去一个月内的总销量。此时可以先创建物化视图提前计算好每日汇总结果，然后再基于这些预先聚合好的中间态做进一步联接运算: ```sql CREATE MATERIALIZED VIEW mv_daily_sales_summary AS SELECT product_id, SUM(sale_quantity) as total_sold FROM daily_transaction_log GROUP BY product_id; -- 后续只需简单引用该 MV 即可获得最新统计数据 SELECT p.name, s.total_sold FROM products p INNER JOIN mv_daily_sales_summary s USING(product_id); ``` 这种方法不仅减少了实时扫描原始日志记录的工作量，同时也让最终呈现给用户的报表更加及时准确。 --- ### 总结 通过对不同类型的 JOIN 算法深入理解及其应用场景合理选用，配合良好的建模习惯如建立恰当索引、充分利用缓存机制等手段，可以在很大程度上改善 StarRocks 上运行的各种复杂查询的整体表现。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

悟世者

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值