2022-07-22 stonedb-并行hashJoin内存占用分析

已于 2023-06-03 21:42:29 修改
阅读量301 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： stonedb 文章标签： mysql 数据库 hash join stonedb
于 2022-07-22 19:06:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/adofsauron/article/details/125938502
本文深入分析了Stonedb数据库在执行并行Hash Join操作时内存增长的情况，通过追踪日志，分别研究了单个任务和多个任务并行执行时ParallelHashJoiner::AsyncMatchDim的内存占用，旨在找出导致内存溢出（OOM）的原因。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

摘要:

分析内存增长的逻辑, 确定出导致OOM的原因

代码位置： stonedb-dev: https://github.com/adofsauron/stonedb-dev

分析:

追踪内存增长的日志

单个任务执行 ParallelHashJoiner::AsyncMatchDim

[2022-07-22 18:33:51.739837] [29191] [INFO] [parameterized_filter.cpp:1310] MSG: Timer 2.807702 : ApplyDescriptor: Parallel : task_num : 24
[2022-07-22 18:33:51.742806] [29191] [INFO] [parallel_
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark MLlib模型训练—分类算法One-vs-Rest classifier
08-31 8208
Spark 的 One-vs-Rest 分类器为多分类任务提供了一个简洁且实用的解决方案，特别是在需要将二分类器扩展到多分类问题时。尽管 One-vs-Rest 存在一些缺点，如类别不平衡和较长的训练时间，但其简单的实现和良好的可扩展性使其在许多实际应用中广受欢迎。通过适当的参数调优和对类别不平衡的处理，One-vs-Rest 可以在多分类任务中表现出色，为解决复杂的分类问题提供了强有力的工具。对于 Spark 中的 One-vs-Rest 实现，还有一些高级用法和优化策略。模型调优。
一文详解jvm之-Xms -Xmx -Xmn -Xss -XX:PermSize -XX:MaxPermSize等参数的设置和优化以及如何选择垃圾回收器
念兮为美
02-13 1万+
一文详解jvm之-Xms -Xmx -Xmn -Xss -XX:PermSize -XX:MaxPermSize等参数的设置和优化以及如何选择垃圾回收器
深入理解Oracle表(5)：三大表连接方式详解之Hash Join的定义，原理，算法，成本，模式和位图
记录创业路上的一些想法
01-30 1万+
Hash Join只能用于相等连接，且只能在CBO优化器模式下。相对于nested loop join，hash join更适合处理大型结果集       Hash Join的执行计划第1个是hash表(build table)，第2个探查表(probe table)，一般不叫内外表，nested loop才有内外表       Hash表也就是所谓的内表，探查表所谓的外表       两者的执行
数据库PGA内存对应HASH JOIN数据量估算
01-20 208
数据库PGA内存对应HASH JOIN数据量估算1.oracle数据库的PGA分配多大比较合理 以一个8G内存的机器为例，分配给oracle的内存大概占到总内存的80% 对于OLAP系统来说，分配给PGA的内存=8G*80%*5...
8.2.1.4 Hash Join 优化
影三人
10-16 757
8.2.1.4 Hash Join 优化
Mysql 优化器内部JOIN算法hash join On-Disk Hash Join Grace Hash Join Hybrid hash join过程详解
数据科学汇集
09-27 837
Mysql 各种hash join算法讲解 hash join的概述 提到hash join之前自然得说Nest loop join，以两个表的关联为例，它其实是个双层循环，先遍历外层的表(n条)，再拿每次对应的值去匹配、循环遍历内部的表（M条）。这样显然会有M*n的计算复杂度。如果能将外部表先装载到内存，然后再做内部表的匹配、遍历，计算的复杂度就会大大降低，这就是hash join的思想。 本文继续介绍hash join的其它几个算法On-Disk Hash Join、Grace Hash Join
mysql join 缓存_浅析MySQL内存的使用说明（全局缓存+线程缓存）_MySQL - join
weixin_35577004的博客
02-05 708
一．Join语法概述join 用于多表中字段之间的联系，语法如下：... FROM table1 INNER|LEFT|RIGHT JOIN table2 ON conditionatable1:左表；table2:右表。JOIN 按照功能大致分为如下三类：INNER JOIN(内连接,或等值连接)...bitsCN.com首先我们来看一个公式，MySQL中内存分为全局内存和线程内存两大部分(其实...
【NVIDIA NIM 黑客松训练营】-情感分析数字人类
热门推荐
2301_80015656的博客
11-04 3万+
它支持最新的GPU加速技术，能够充分利用GPU的并行计算能力来加速模型的推理过程。同时，NVIDIA NIM还提供了丰富的优化工具和库，帮助开发者进一步提升模型的性能和准确性。NVIDIA NIM 是 NVIDIA AI Enterprise 的一部分，为开发 AI 驱动的企业应用程序和在生产中部署 AI 模型提供了。我的感受是：使用模型想下载软件一样简单，将模型装进应用商店，每个人都拥有自己的模型。与传统的模型部署方式相比,通过部署NM推理微服务，针对使用自已的数据进行微调的模型，提高特定用例的准确性。
J.U.C Review - Stream并行计算原理源码分析
小工匠
09-06 4770
自Java 8推出以来，开发者可以使用Stream接口和lambda表达式实现流式计算。这种编程风格不仅简化了对集合操作的代码，还提高了代码的可读性和性能。Stream接口提供了多种集合操作方法，包括empty（判空）、filter（过滤）、max（求最大值）、findFirst和findAny（查找操作）等，使得对集合的操作更加灵活和直观。
Janus: Data-Centric MoE 通讯成本分析（2）
恭仔的博客
10-23 1万+
在之前的blog中，我们学习了Janus的理论基础和模型搭建。通过以数据为中心的范式思路和巧妙的读取测略，Janus极大的减少了算法的通讯成本。本篇blog将从数学的角度定量解读Janus是如何降低通讯开销的。
Ansys-2022R1如何在Linux&HPC并行计算集群安装并使用？
qq_27815483的博客
06-30 4150
本文章主要介绍有限元分析软件ansys软件在Linux并行计算集群上安装与基本使用，主要用户学习研究软件原理
gnss 并行码捕获-matlab
qq_42263796的博客
05-10 8595
1 GPS捕获原理-简要 首先是正交混频，剥离载波，注意本地NCO（不懂的话可以查查DDS）生成的相位步进以及相位累加器的溢出处理，没处理好会导致无法出现相关峰值，CA码不做介绍（这个看谢钢那本GPS原理和接收机设计这本书就可以了），这个没什么技术难度。然后，将CA码重采样，这里重采样为16倍码率，由于只是理论验证，且这里相关耗时并不算多，耗时最多的是正交混频和重采样。最后利用matlab的xcorr做1ms并行相关，20ms相干积分，以及寻找大于阈值的相关峰值，即可实现捕获，但由于时间较短，不能对弱信号
Oracle典型的表连接类型（sort merge join(SMJ) 排序-合并连接、nested loops(NL) 嵌套循环、hash join 哈希连接）
林世广
02-02 2438
1、sort merge join(SMJ) 排序-合并连接 连接过程： 将两个表排序，然后再进行join ①首先生产drving table【驱动表】需要的数据，然后对这些数据按照连接操作关联列进行排序； ②然后生产probed table【被探查表】需要的数据，然后对这些数据按照与driving table对应的连接操作列进行排序； ③最后两边已经排序的行被放在一起执行合并操作。 应用场景： ①排序是一个费时、费资源的操作，特别对于大表。所以SMJ通常不是一个特别有效的连接方法，但是如果driving
Hash join优化要点
qq_22083251的博客
06-11 1978
要点1：两表的限制条件建立索引 要点2：小结果集作为驱动表 要点3：确保PGA完成hash值运算尺寸
Docker + PyFlink1.17 数据写入 MySQL
最新发布
开码河粉
06-15 620
docker, flink 1.17 , mysql，实现数据etl
【MySQL】TencentOS 安装登录MySQL
weixin_41899098的博客
06-15 326
经过一番排查，发现这是许多 Linux 新手都会遇到的 MySQL 安装误区。下面记录完整的解决过程。今天在 TencentOS Server 4 上安装 MySQL 时遇到了一个典型问题：明明用。包只包含客户端工具，不包含服务器组件！
navicat可视化页面直接修改数据库密码——mysql、postgresql、mangodb等
Github主页：https://github.com/xinyangwy
06-13 593
输入两次新的密码，按下Ctrl+S 保存。
Flink CDC MySQL 表字段定义为 decimal 输出乱码问题优雅解决方式
RodJohnsonDoctor的专栏
06-15 323
Flink CDC MySQL decimal字段乱码问题解决方案 摘要：在使用Flink CDC 2.4.0捕获MySQL表数据时，decimal类型字段可能出现乱码问题。这是由于Debezium默认将decimal转为二进制格式，与Flink解析方式不兼容。解决方案是通过自定义JsonDebeziumDeserializationSchema，在配置中设置decimal.format为"numeric"，确保数值格式正确解析。实现步骤包括添加必要依赖、配置自定义转换规则.
数据库学习（七）——MySQL执行引擎
weixin_45857378的博客
06-15 794
在 MySQL 中，执行引擎（存储引擎，Storage Engine）是数据库的核心组件之一，负责数据的存储、检索、更新、删除等底层实现。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

悟世者

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值