高水位问题

最新推荐文章于 2022-07-19 16:53:06 发布
原创 最新推荐文章于 2022-07-19 16:53:06 发布 · 987 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了Oracle数据库中高水位（HWM）的概念及其影响。高水位标记区分了段中已使用的块和未使用的块，在插入数据时会向上移动，但删除数据后不会下降，导致全表扫描时需要读取更多块，影响性能。文章通过实例展示了高水位导致的全表扫描时间延长，并分析了直接路径插入如何加剧空间浪费。

前些天,同事说一张空表查询要花了大概40分钟,DELETE的时候也是,在一些Q群上问些有经验的人说可能是高位线的问题.

于是让他查下该表所占的空间有多大.如图:


一张空表居然占了184704个块,然后让他把那表TRUNCATE后,再查就只有8个块.这样就更加的肯定是高水位的原因.

一个块一般是8K,这样的话,这张空表就占了184704*8=1477632K=1443M.对1G多的空间进行全表扫描的话,可想而知需要花费的时间要很长.


下面是关于高水位的一些内容,参考:http://jolly10.itpub.net/post/7268/466758

一般ORACLE的逻辑存储有4个粒度,块,区,段,表空间.

其中,块是最小的存储单元.一般的块所占的空间一般是8K,但也有2K,4K,16K,32K这样配置,具体通过参数db_block_size来设置.

2)区:由一系列相邻的块而组成,这也是ORACLE空间分配的基本单位,举个例子来说,当我们创建一个表PM_USER时,首先ORACLE会分配一区的空间给这个表,随着不断的INSERT数据到PM_USER,原来的这个区容不下插入的数据时,ORACLE是以区为单位进行扩展的,也就是说再分配多少个区给PM_USER,而不是多少个块.

(3)段:是由一系列的区所组成,一般来说,当创建一个对象时(表,索引),就会分配一个段给这个对象.所以从某种意义上来说,段就是某种特定的数据.如CREATE TABLE PM_USER,这个段就是数据段,而CREATE INDEX ON PM_USER(NAME),ORACLE同样会分配一个段给这个索引,但这是一个索引段了.查询段的信息可以通过数据字典: SELECT * FROM USER_SEGMENTS来获得,

(4)表空间:包含段,区及块.表空间的数据物理上储存在其所在的数据文件中.一个数据库至少要有一个表空间.

OK,我们现在回到HWM上来,那么,什么是高水位标记呢?这就跟ORACLE

最低0.47元/天 解锁文章
Oracle数据库中存储空间的高水位问题
明确的爱，真诚的喜欢，直接的厌恶，站在太阳底下的坦荡，被坚定的选择。
02-04 1408
高水位线是oracle数据库数据文件或者段使用空间和未使用空间之间的边界
ORACLE 性能优化 高水位调节
ziaoming_biu的博客
04-30 1422
>索引优化->分区优化->优化器hints优化2.就是select,select后面避免使用*,查什么字段就写什么字段,因为使用*是走全表扫描的,不走索引3.最有效率的表名顺序，oracale的解析器按照从右到左的顺序处理FROM子句中的表名，所以把数据记录最少的放在最后面，如果有三张表以上的表，那就把交叉表放在最后面；4.，join 之前先去重或者过滤一下，这样join时连接表的数据量更少,连接过程就优化了。
高水位(High_Water_Mark)的概念及高水位问题的解决
10-22
orcal中关于HWM介绍，及相关操作说明。
Oracle 高水位问题
weixin_33889665的博客
11-07 200
Oracle 对数据段的管理有一个高水位(HWM, High Water Mark)的概念。高水位是数据段中使用过和未使用过的数据块的分界线。高水位以下的数据块是曾使用过的，以上的是从未被使用或初始化过的。 当 Oracle 进行全表扫描(FTS, Full table scan)的操作时，它会读高水位下的所有数据块。如果高水位下还有很多空闲空间（碎片），读取这些空闲数据块会降低操作的性能。 当...
高水位（high water mark ）的概念及高水位问题的解决
YULAN1的专栏
08-29 3557
() 1.     背景 随着表中数据的不断增长，表的高水位也被不断的推高。当高水位达到一定程度之后，会对该表上的SQL查询效率产生负面影响，因此需要采取有效措施降低高水位。有时候即便是表中数据很少，一条全表扫描的sql仍然很慢，有时候表的数据很少，但是仍然占用很多空间，这些都是高水位在作怪。   准备知识 Oracle 的逻辑存储结构可简单表示为：表空间——>段——>区——>块
高水位线
luobida222的专栏
12-17 845
什么是高水位线： 就是数据一条一条插到数据块里面了，会记录一个最高的位置，就想象一下东西堆桶里了，越堆越高，最高的地方标一下最高位置，然后你把东西拿走了，最高位置还在那里，不会因为你东西少了就降下来了，就和delete一样，不会因为数据被delete了，高水位线就降下来了，这样有什么不好的地方呢，就是每次全表扫描的时候，就要扫很多多余的空块，造成资源浪费，就很没必要，所以对于频繁delete的表...
数据库高水位
qq_32129371的博客
05-27 2368
数据库高水位 一、数据库高水位背景 在我们的系统中，如果经常对一个存储对象进行删除和更新，就会在它分配的空间内形成一定的零散空间，这些零散的空间将会影响到 SQL 的访问性能。Oracle 数据库通过跟踪段中的状态来管理空间，于是引进了高水位标记（high water mark）。这样可以区别出哪些数据块是没有格式化和未使用的，也就是说当请求新的空闲块，并且现有空闲列表中的块不能满足要求时，HWM 指向的块将被标记为已使用，然后 HWM 将移动指向下一个未使用过的块，这样以便于进行数据插入和数据块管理。 1
高水位（High Water Mark）的概念及高水位问题的解决
旅行人生
11-04 8329
http://www.blogjava.net/decode360/archive/2009/07/14/287767.html
[ORACLE]数据库高水位线问题（HWM）（转载）
dannistang的博客
06-06 1112
一、ORACLE高水位线(HWM) 1.1 ORACLE用HWM来界定一个段中使用的块和未使用的块。 当我们创建一个表时, ORACLE就会为这个对象分配一个段, 在这个段中即使我们未插入任何记录, 也至少有一个区被分配, 第一个区的第一个块就称为段头块(SEGMENT_HEADER), 段头中就储存了一些信息, 其中HWM的信息就存储在此。此时, 因为第一个区的第一块用于存储段头的...
浅析ORACLE数据库高水位线(high water mark)
Robo's Blog【海阔凭鱼跃,天高任鸟飞】
10-12 5864
浅析ORACLE数据库高水位线(high water mark)
oracle 中删除表 drop delete truncate 的区别
weixin_33686714的博客
03-14 269
相同点，使用drop delete truncate 都会删除表中的内容 drop table 表名 delete from 表名（后面不跟where语句，则也删除表中所有的数据） truncate table 表名 区别 首先delete 属于DML，当不commit时时不生效的 而truncate 和 drop 则是直接生效的，不能回滚。 truncate ...
关于string模块中的maketrans()方法和translate()方法
sco的自我修养
05-08 1506
关于string模块中的maketrans()方法和translate()方法* maketrans 语法：maketrans(intab,outtab) 其中，intab是输入字符集合，outtab是输出字符集合。 maketrans要求intab与outtab的长度要一致，因为maketrans输出结果就是将256位Unicode字符中的intab字符 按对应的位转化成outtab中的字
oracle数据库报错09275,项目连接Oracle数据库报错
weixin_39792747的博客
04-04 193
要连的数据库是oracle 11.2 项目是从SVN上check out的。我检查了class12.jar和ojdbc6.jar都已经添加到项目的引用里了，但是连接数据库时还是提示NullPointerException，这是后台的详细信息。各位大神，能否给小弟指点一二，是哪个环节出了问题。1.2013-9-25 16:44:17 org.apache.catalina.loader.Webapp...
LINUX-给用户添加SUDO权限
sco的自我修养
12-31 659
总是不记得怎么配置sudo，有时又懒得以root登陆，所以在这里记录下。 1.以ROOT用户登陆或输入 “su - ”切换到ROOT用户 2.添加文件的写权限：“chmod u+w /etc/sudoers” 添加写权限成功，接下来可以修改sudoers文件了。 3.编辑/etc/sudoers 文件，找到"root ALL=(ALL) ALL"这一行，然后在它下
oracle报错解决
weixin_40548182的博客
07-19 4321
登陆oracle，提示错误信息ORA-00257。
上传jcenter的“第一次”所遇到的坑
xingshen58的专栏
06-12 7756
把自己的项目开源给外界或者自己的团队，使用jcenter是一个不错的选择。在bintary.com上新建项目时，如果选择私有的话，是要收费的。开源项目管理网站的惯用作法。 现在就来记录我第一次上Jcenter时所遇到的坑，过程稍有挫折，但是结果是肯定的，美好的，就像每个人的“第一次”一样的，你懂的。。 参考：http://blog.youkuaiyun.com/lmj623565791/article/d
mysql高水位问题解决办法
dipianjiang7696的博客
12-19 1037
数据库中有些表使用delete删除了一些行后，发现空间并未释放产生原因：类比Oracle的高水位线产生原理 delete 不会释放文件高水位 truncate会释放 ，实际是把.ibd文件删掉了，再建一个。 delete + alter engine=innodb会释放，相当于重建表。 对应解决方案： 执行 OPTIMIZE TABLE 表名：只对MyISAM,...
Oracle解决高水位线（high water mark 简称：HWM）​问题
xiaokanfuchen86的博客
01-02 6095
高水位？（high water mark 简称：HWM） 1.什么是高水位？（high water mark 简称：HWM） 所有的Oracle段（segments,在此，为了理解方便，建议把segment作为表的一个同义词）都有一个在段内存放数据的上线，那么我们把这个上线成为“high water mark”或HWM.HWM是一个标记，用来说明已经有多少没有使用的数据块分配给了这个segment。MWM通常增长的幅度为一次5个数据块。原则上MWM只会增大，不会缩小。即使表中的全部数据都删除了，那么HW
oracle高水位治理
最新发布
11-18
<think> 首先，用户的问题是：“我想查找oracle高水位治理的相关方法和策略 请问Oracle数据库高水位治理的方法和策略”。这基于之前提供的引用内容，我应该参考那些引用来回答问题。 用户引用了四个引用： - 引用[1]：讨论Oracle高水位对性能的影响，包括什么是高水位线、影响和解决方案。 - 引用[2]：描述数据重组阶段和高水位线调整阶段，涉及INSERT/DELETE操作和锁机制。 - 引用[3]：涉及BI报表迁移和优化，但似乎与高水位治理关系不大。 - 引用[4]：展示了一个ANALYZE TABLE命令的结果，显示BLOCKS和EMPTY_BLOCKS。 用户指令强调： - 所有行内数学表达式使用$...$格式。 - 独立公式使用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 在回答中引用的段落末尾添加引用标识，如[^1]。 - 回答结构清晰，帮助用户逐步解决问题。 - 保证回答真实可靠。 用户问题核心是Oracle高水位治理的方法和策略。我需要基于引用内容构建回答。 关键点从引用中提取： - 引用[1]：高水位线会导致SQL访问性能下降，需要理解其定义、影响和解决方案。 - 引用[2]：治理涉及数据重组（消除碎片）和高水位线调整（降低HWM并释放空闲块），使用锁机制，但影响有限。 - 引用[4]：使用ANALYZE TABLE命令来获取表的块信息，如BLOCKS（已使用块）和EMPTY_BLOCKS（空闲块）。 引用[3]似乎不直接相关，因为它讨论BI迁移而非高水位治理，所以我可能不需要用到它。 结构清晰的回答： 1. 介绍高水位线的概念。 2. 解释高水位线如何影响性能。 3. 详细描述治理方法和策略。 4. 提供示例或实用步骤。 5. 结尾添加相关问题。 生成相关问题：在回答末尾添加§§相关问题§§，列出几个相关问题。 添加引用标识：在回答中提到引用内容时，在句子末尾添加[^n]。 使用中文。 步骤： - 先定义高水位线（HWM）。 - 解释影响：如性能下降。 - 治理方法：从引用[2]，数据重组和高水位调整。 - 工具：如ANALYZE TABLE（引用[4]）。 - 其他常见策略：如TRUNCATE, MOVE等（基于一般知识）。 确保回答可靠：基于引用，但补充一般知识，因为引用是有限的。 最终回答结构： - 开头简述问题。 - 分步骤解释方法和策略。 - 结尾添加相关问题。 </think> 以下是针对Oracle数据库高水位治理的方法和策略的详细解答。高水位线（High Water Mark, HWM）是Oracle数据库中表或索引段中已使用数据块的最高点。当数据被删除或更新后，HWM不会自动下降，导致表包含大量空闲块但未被释放，从而影响查询性能（例如，全表扫描时会扫描所有HWM以下的块，包括空闲块，增加I/O开销）[^1]。基于引用内容和行业最佳实践，我将逐步解释治理方法和策略，确保回答真实可靠。 ### 步骤1: 诊断高水位问题 在治理前，需确认表是否存在高水位问题。使用Oracle内置工具分析表的块分布： - **ANALYZE TABLE命令**：收集表的统计信息，检查BLOCKS（已使用块）和EMPTY_BLOCKS（空闲块）。例如： ```sql ANALYZE TABLE table_name COMPUTE STATISTICS; SELECT table_name, blocks, empty_blocks FROM dba_tables WHERE table_name = 'YOUR_TABLE_NAME'; ``` 如果`BLOCKS`值远小于`BLOCKS + EMPTY_BLOCKS`的总和，表明存在高水位问题（大量空闲块未被释放）[^4]。 - **动态性能视图**：查询`DBA_SEGMENTS`视图获取HWM位置： ```sql SELECT segment_name, blocks, bytes FROM dba_segments WHERE segment_name = 'YOUR_TABLE_NAME'; ``` ### 步骤2: 数据重组（消除碎片） 数据重组旨在整理表内的数据行，将分散的行移动到段的前部，减少碎片。此阶段使用行级锁（Row-X, RX），对业务影响有限： - **方法**：通过内部INSERT和DELETE操作压缩数据。常用策略包括： - **ALTER TABLE ... MOVE**：重建表结构，将数据移动到新的连续块中，并重置HWM。例如： ```sql ALTER TABLE table_name MOVE; ``` 此操作会重建表，需要重建索引并重新收集统计信息。 - **在线重组工具**：使用Oracle的DBMS_REDEFINITION包进行在线重组，避免业务停机： ```sql BEGIN DBMS_REDEFINITION.start_redef_table('SCHEMA', 'OLD_TABLE', 'NEW_TABLE'); -- 同步数据 DBMS_REDEFINITION.sync_redef_table('SCHEMA', 'OLD_TABLE', 'NEW_TABLE'); DBMS_REDEFINITION.finish_redef_table('SCHEMA', 'OLD_TABLE', 'NEW_TABLE'); END; ``` 这能高效消除碎片，提升数据局部性[^2]。 ### 步骤3: 高水位线调整（释放空闲块） 调整HWM以释放空闲块回表空间，减少扫描范围。此阶段需要表级排他锁（Exclusive, X），但持续时间短（通常几秒）： - **方法**：使用TRUNCATE或SHRINK命令直接降低HWM。 - **TRUNCATE TABLE**：最快速的方法，删除所有数据并重置HWM。但会丢失所有数据，仅适用于可清空表： ```sql TRUNCATE TABLE table_name; ``` - **ALTER TABLE ... SHRINK SPACE**：Oracle 10g及以上版本支持，在线压缩表空间并降低HWM。需要启用行移动： ```sql ALTER TABLE table_name ENABLE ROW MOVEMENT; ALTER TABLE table_name SHRINK SPACE COMPACT; -- 可选：先压缩数据 ALTER TABLE table_name SHRINK SPACE; -- 最终降低HWM ``` `SHRINK SPACE`操作会释放空闲块，优化存储[^2]。 ### 步骤4: 预防性策略 治理后，采取预防措施避免HWM问题复发： - **定期维护**：使用DBMS_STATS包自动收集统计信息，监控HWM变化： ```sql EXEC DBMS_STATS.GATHER_TABLE_STATS('SCHEMA', 'TABLE_NAME'); ``` - **分区表**：对大表使用分区，每个分区有独立HWM，减少全表扫描影响。 - **避免大规模删除**：用DELETE后执行重组或TRUNCATE子表。 - **监控工具**：集成Oracle Enterprise Manager (OEM) 或AWR报告，设置警报当HWM过高时触发。 ### 性能影响和注意事项 - **锁机制**：重组阶段用行级锁（影响小），HWM调整用表级锁（短暂阻塞DML，建议在维护窗口执行）[^2]。 - **测试环境验证**：在生产前，在测试环境模拟操作，避免数据丢失。 - **备份**：执行ALTER TABLE或TRUNCATE前，确保有完整备份。 高水位治理能显著提升查询性能（如全表扫描速度可提升数倍），尤其在OLAP或数据仓库场景[^1]。实践中，建议结合数据重组和HWM调整，定期维护。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值