故障案例--多表join引发磁盘空间撑爆

最新推荐文章于 2024-12-05 18:06:23 发布
最新推荐文章于 2024-12-05 18:06:23 发布
阅读量679 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： DB故障处理案例 MySQL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/cug_jiang126com/article/details/51557574
本文分析了一起SQL执行导致磁盘空间使用激增的问题，通过检查慢查询日志发现多表Join操作是罪魁祸首。分析了SQL解析计划揭示中间结果集过大，进而导致在tmp_table_size限制下建立myisam磁盘临时表，最终导致空间使用率激增。提供了解决方案，即优化SQL语句以减小结果集大小，从而避免不必要的磁盘空间消耗。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

现象：磁盘空间使用率的监控曲线有一个非常陡峭的峰值，达到90%后瞬间下滑

问题分析步骤：查看那段时间的慢查询记录，定位到是一个多表的join操作（PS，mysql.slow_log表里的start_time列指的是SQL执行结束的时间）


根据SQL的解析计划可知中间结果集非常大，超过了tmp_table_size大小设置，于是在磁盘空间上建立myisam磁盘临时表，重新复现了一遍，确实在tmpdir参数定义的路径下，空间上涨非常厉害

处理方法

优化SQL，具体这个SQL怎么优化，不做讨论

【Flink】Flink 记录一个 checkpoint 检查点 越来越大的问题
九师兄
01-01 3129
Flink SQL checkpoint越来越大咋么办，从2个G，现在4个G了，增量同步的，窗口是1小时，watermark是6小时，按道理来说，数据量不应该越来越大啊？在窗口内执行了count(distinct )这些操作。设置了状态的ttl。后端状态存储用的rocksdb。状态如下设置了增量的检查点代码设置不一定有效，需要看实际设置成功了没。这里有才说明你设置成功了可能和【Flink系列】- RocksDB增量模式checkpoint大小持续增长的问题及解决。
数据库故障排查指南-表空间（Tablespace）无法扩展
最新发布
百态老人的博客
05-14 675
在大数据场景下，表空间扩展需结合存储架构设计、自动化监控和容量预分配策略。通过动态扩展数据文件、优化数据分布和定期维护，可有效避免因空间不足导致的业务中断。
mysql 临时表空间过大_Oracle 临时表空间过大问题解决
weixin_39963830的博客
01-20 187
查询Oracle数据库服务器时，发现数据库服务器磁盘使用空间达到了98%，分析总共的数据文件也不可能达到如此大，经过查询发现原来查询Oracle数据库服务器时，发现数据库服务器磁盘使用空间达到了98%，分析总共的数据文件也不可能达到如此大，经过查询发现原来临时表空间的使用情况达到了 32G，导致磁盘空间使用紧张。搜索了相应的文档与资料后，查出临时表空间主要使用在：- 索引创建或重创建。- ORDE...
表连接连接条件不当导致查询结果变多
weixin_43975276的博客
11-13 529
首先，课表连接布置作业表，因为课表里面的课节和老师布置作业是一一对应的。综上，需要用课节id和学员id一起作为连接条件去关联表才行，这样才能定位到哪节课哪个人交的作业。一开始我的设计是课表通过课节id和布置作业关联，再接着用课表里面的课节id和作业的课节id关联进行查询。但实际数据比预期要多，因为一个课节会有多个人交作业，但我只关联了课节，这样不同人的作业都会被查出来。联表的时候需要注意联表的连接条件，因为要查询的一般是主表的信息，所以主表的一条记录对应的连接条件一般情况下只会对应连接表的一条记录匹配。
MySQL 索引报错：Specified key was too long
weixin_41609327的博客
03-14 1685
添加索引时候报错，是因为索引得支持是有限定长度得，例如varchar最大索引长度为767个字节。 碰到这种情况， 解决办法 1，数据库当初定的字段太大，改小就好了 2，优化业务sql，换别的字段查询，不要查询长文本，很慢得 ...
关于服务器磁盘配额超出的问题解决(报错源码是Disk quota exceeded)
weixin_45578382的博客
05-05 2万+
所使用环境是pycharm及思腾合力的服务器连接 在下载数据包时遇到这样的问题 index.html: Disk quota exceeded Cannot write to ‘index.html’ (Success). Cannot open cookies file ‘cookies.txt’: Disk quota exceeded 这句话翻译过来就是磁盘配额超出，所以第一步是先看一下我们磁盘的使用情况 #查看磁盘配额使用情况 df -r 我的输出是 然后看到确实有一个磁盘已
DB2 SQLCODE -918：临时表空间溢出错误处理秘籍
首先，文章介绍了临时表空间的基础知识以及SQLCODE -918错误的定义和内部机制。随后，详细分析了导致SQLCODE -918错误的常见原因，并从理论角度提出解决策略。为避免该错误的发生，文章还提供了设计阶段和运行阶段的...
一个 Clickhouse 集群磁盘损坏恢复数据的案例
ActionTech的博客
06-11 1179
数据冗余备份：确保每个分片有多个副本，防止单点故障导致数据丢失。掌握 ClickHouse 和 Zookeeper 同步机制：了解如何通过 Zookeeper 获取其他副本的 parts 路径，并使用端口9009进行数据传输恢复。清理 Zookeeper 元数据：在磁盘损坏后，需清理 Zookeeper 中的元数据，以避免重建表时发生元数据冲突。详细的恢复操作步骤：导出表结构并创建数据库。使用create_table_query重建表并确认数据同步。
大数据新视界 -- 大数据大厂之 Hive 临时表与视图：灵活数据处理的技巧（上）（29 / 30）
【青云交】华为云云享专家，在技术圈个人影响力位居前17，跻身博客之星 TOP23。同时荣登【原力榜、作者周榜、领军人物和综合热榜】四榜榜首，破优快云排行榜记录！苏州地区各榜也统统拿下榜首之位，实力爆棚！非常感谢全网十多万粉丝的喜欢和关注！
12-05 4150
本文深度剖析 Hive 临时表与视图，从原理到实践全方位解读其特性、创建技艺、应用场景及协同策略，佐以多元案例与精准代码，为大数据从业者呈献高效数据处理的智慧锦囊与实操宝典，引领灵活数据分析新潮流。
【大数据表Join操作】：MapReduce实践案例与深度分析
[【大数据表Join操作】：MapReduce实践案例与深度分析](https://www.altexsoft.com/static/blog-post/2023/11/462107d9-6c88-4f46-b469-7aa61066da0c.jpg) # 1. 大数据表Join操作概述 在现代数据处理中，Join操作是...
【最新版】Joplin-1.0.233.dmg【亲测可用】最好的笔记本
08-06
Joplin是一个免费的开源笔记记录和待办事项应用程序，它可以处理笔记本中组织的大量笔记。这些注释是可搜索的，可以直接从应用程序中或从您自己的文本编辑器中进行复制，标记和修改。注释采用Markdown格式。
mysql磁盘空间扩容_mysql磁盘空间暴增
weixin_28693683的博客
01-19 1092
今天上班后，忽然发现mysql从库的磁盘空间忽然爆满，经过一番查看后，发现ibtmp1占的空间很大，已经快300G了。经过查询得知,ibtmp1文件是 MySQL5.7的新特性,MySQL5.7使用了独立的临时表空间来存储临时表数据，但不能是压缩表。临时表空间在实例启动的时候进行创建，shutdown的时候进行删除。即为所有非压缩的innodb临时表提供一个独立的表空间，默认的临时表空间文件为i...
故障分析 | MySQL 临时表空间数据过多导致磁盘空间不足的问题排查
ActionTech的博客
10-19 2079
作者：宗杨 爱可生产品交付团队成员，主要负责公司运维平台和数据库运维故障诊断。喜爱数据库、容器等技术，爱好历史、追剧。 本文来源：原创投稿 *爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。 一、事件背景 我们的合作客户，驻场人员报告说一个 RDS 实例出现磁盘不足的告警，需要排查。 告警信息： 告警内容： 数据库 data 磁盘不足，磁盘占用 80% 以上 数据库 binlog 磁盘不足，磁盘占用 80% 以上 二、排查过程 登陆告警的服务器，查看磁盘空间，并寻找大容量.
SQL数据库使用JOIN的优化方法(转)
weixin_30853329的博客
10-10 316
很早以前，也是一提到SQL Server，就觉得它的性能没法跟Oracle相比，一提到大数据处理就想到Oracle。自己一路走来，在本地blog上记录了很多优化方面的 post，对的错的都有，没有时间系列的整理出来，这篇文章将join方法的概念稍微整理在一起，给大家个参考。通过查资料了解里面提到的各种概念，在实 际中不断验证总结，完全可以对数据库一步步深入理解下去的。 我只对SQL Se...
hive多张表join时，跑MR报错，org.apache.hadoop.hdfs.protocol.DSQuotaExceededException:The DiskSpace quota of /
东城庞太师
09-25 2370
hive多张表join报错！ org.apache.hadoop.hdfs.protocol.DSQuotaExceededException:The DiskSpace quota of /目录 is exceeded:quota=9.7T but diskspace consumed = 9.7T at ........ 解决： 查看目录设置的配额情况，SPACE_QUOTA是设置的空间配额，REM_SPACE_QUOTA是当前剩余的空间配额. hdfs dfs -count -q -h..
mysql唯一索引的一个小常识--Duplicate entry 'XXX' for key 'XXX'
热门推荐
cug_jiang126com的专栏
11-10 4万+
概述 之前一直有个小误区，我以为mysql的唯一索引肯定是区分大小写的，然而实际上utf8字符集下，默认排序规则utf8_general_ci 情况下，是不区分大小写的。而在排序规则utf8_bin下是区分大小写的，这就有可能出现以下情况：之前字段是varchar  binary类型，即排序规则为utf8_bin，后来将该字段改回varchar的话，就会导致唯一键冲突错误 测试
深入理解SELECT ... LOCK IN SHARE MODE和SELECT ... FOR UPDATE
cug_jiang126com的专栏
01-19 4万+
概念和区别 SELECT ... LOCK IN SHARE MODE走的是IS锁(意向共享锁)，即在符合条件的rows上都加了共享锁，这样的话，其他session可以读取这些记录，也可以继续添加IS锁，但是无法修改这些记录直到你这个加锁的session执行完成(否则直接锁等待超时)。 SELECT ... FOR UPDATE 走的是IX锁(意向排它锁)，即在符合条件的rows上都加了排
理解innodb的锁(record,gap,Next-Key lock)
cug_jiang126com的专栏
01-27 3万+
Record lock 单条索引记录上加锁，record lock锁住的永远是索引，而非记录本身，即使该表上没有任何索引，那么innodb会在后台创建一个隐藏的聚集主键索引，那么锁住的就是这个隐藏的聚集主键索引。所以说当一条sql没有走任何索引时，那么将会在每一条聚集索引后面加X锁，这个类似于表锁，但原理上和表锁应该是完全不同的。 Gap lock 在索引记录之间的间隙中加锁，或者是
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值