高性能sql调优-存储架构

高性能SQL - 存储架构(3) ** 高性能SQL - 存储架构 ** 定义:指Oracle数据库磁盘空间组织,管理和使用相关的逻辑设计及实现等方式(Oracle数据库是如何组织,分配,管理和使用磁盘文件的存储空间)。 1.块(Block) 1.1 块概念:块是Oracle数据库读写的最小单元,块大小是操作系统层面块大小的整数倍。Oracle块大小的默认值通过参数“db_block_size”设置(可以设置值:2KB,4KB,8KB,16KB,32KB)。Oracle 9i版本后支持多种不同大小的块。 1.2 块自由空间(Free Spa 阅读详情

一、序言

   所谓的存储架构,这里指的就是Oracle数据库磁盘空间组织、管理和使用相关的逻辑设计以及实现等方面,更具提的来说就就是讲Oracle数据库是如何组织、分配、管理和使用磁盘件内的存储空间的。这节主要讲述数据文件相关的设计和实现等内容,这也是Oracle存储层面的核心原理和机制

二、详细分析

 1、块(Block)

   1)块的概念:块是Oracle数据库的读写的最小单位,块的大小是操作系统层面大小的整数倍。数据库中的这个值是可以设置的,可以是2KB、4KB、8KB、16KB和32KB。

   2)块自由空间(Free Space):块内的自由空间与行迁移(Row Migrating)以及行链接(Row Chaining)相关。

  3)行迁移:当数据行长度因为update操作而增长,块内的自由空间不足以容纳修改之后的数据行,那么该数据行将会迁移到另外一个能够容纳它的块里面存储,原来的块里面留下的是一个指向新存储位置的指针。

         

                                    (行迁移示意图)

     图解执行过程描述:数据行rowk原来在块block1上面的,后来因为update数据行rowk导致长度变大,导致该块内的因为自由空间太小,不足以容纳修改之后的数据行rowk,因此数据行rowk迁移到了块block2上面,在block1中留下了row3的新地址,当需要访问block1获取rowk的新地址,然后再去访问block2,获取真实的rowk,因为发生了行迁移导致多读取了一个块。

    我们可以通过增大块中的自由空间大小来避免和减少行迁移。

  4)行链接:当当个块的全部空间不足以容纳单个数据行时就会需要多个块链接起来,共同存储这个数据行,行链接的阻止结构如图所示

                 

                                      (行链接示意图)

      图解说明:因为block3的全部空间不足以容纳单个数据行row1,因此,在将块block3填满之后,将数据行row1未能够

存储在块block3中的剩余部分,存储到block4中,块block3中保存的只是row1的一部分内容。

     虽然在块大小和行大小固定的条件下,行链接避免不了,但是我们可以调整块的大小或者行大小来尽量避免和减少行链接。

   5)行迁移和行链接的影响:数据库中存在过很多的行迁移和行链接,都会因为消耗太多的I/O资源而影响性能。

2、区间(Extent)

   1)区间的概念:可以译作扩展,区间时Oracle有关存储空间的一个逻辑单位,是由多个地址链接的块组成的。也是Oracle存储空间分配的最小单位。当某个数据库对象要存储时,Oracle只要要为其分配一个区间

   2)区间的分配:区间在段(Segment)被创建或者段空间扩展时被分配,具体的细节与Oracle有关

   3)区间分配管理的方式:随着版本的不同,区间的分配和管理方式也是不同的。一般采用本地管理(Local Management)存储空间的方式,分配方式分为统一(Uniform)和自动管理(Auto)两种方式,前者每个区间的大小固定并且统一,后者由Oracle系统自动调整和确定。此外还有一种分配方式,就是用户(User)分配方式,因为使用时比较繁琐,所以很少被使用。

   4)区间释放:一般来说,当段被清除时,区间所占用的存储空间会被释放,以供系统中其他对象使用,否则,即时数据被删除,区间空间也不会被释放,哪怕是普通的截断。虽然不同版本情况不同,但区间占用的存储空间也不会被完全释放。

 3、段(Segment)

    1)段的概念:实际存储的是数据库中数据对象数据的逻辑结构和单元,段是由一个或者多个区间组成。

    2)分区和段:非分区表和非分区索引分别对应一个段,分区表和分区索引的每个分区或者子分区分别对应一个段。

    3)段分配:段是存储数据库对象数据的实体,是存放数据的真正逻辑结构和单元,创建一个非分区表和非分区索引,或者分区表和分区索引时,或者向表或者索引中加载数据时,系统就会为它们分配段,用来实际存储这些数据库对象的数据

    4)其他段:除了表和索引对应的段外,还有其他类型的段,例如:临时段、回滚段等,虽然都是被称作段,但是其内部的机制是各不相同的,临时段在临时表空间中创建创建和分配,用来存储临时或者中间数据,会馆段在回滚表空间中创建和分配,用来存储重构块前影像所需的反操作向量数据。

  4、表空间(Tablespace)

      1)表空间概念:Oracle中最大的存储空间相关的逻辑概念和容器,存储系统和yoghurt数据的段都在表空间中被分配。表空间是共享资源而不是私有资源,不同用户或段的数据可以存储到同一张表空间中,也可以存储到不同的表空间。

      2)表空间组成:表空间由一个或多个数据文件组成

      3)表空间分类:按照存储数据的类型表空间被分为:数据表空间、临时表空间、回滚表空间。顾名思义。数据表空间用来存储系统和用户的数据,临时表空间用来村相互系统和用户的临时数据,回滚表空间用来存储重构块前影像所需的数据。

三、总结

   想要明白数据库中的数据是怎么存储的我想是有必要看看该文章的,相信你看过之后会对mysql的数据存储有更一层次的了解。虽然理论性比较强,但是有时间小编会补上去的,用更加白话的语言描述,因为时间问题,也因为自己能力并不能够完全明白其中内容,所以就暂时先这样了。

主流国产数据库存储架构层的差异分析 本文将从金融行业出发,通过聚焦信创数据库主流产品的存储架构,探讨信创国产数据库的本地存储和集中式存储在产品设计上的异同分析、难点分析、面临挑战及当前解决方案,最后将对数据库自主可控方向做一些探述。3) 数据一致性问题:金融行业的交易数据要求高度一致性,任何数据的不一致都可能导致交易失败或损失,必须保证数据库的数据一致性,如果无法保证数据一致性,就会存在交易失败或损失的风险。2) 优化存储引擎的实现,采用混合存储模式或LSM-Tree和B+Tree混合实现,加强数据压缩和索引机制,提高数据存储和检索效率。 阅读详情

相关推荐

B站评论系统的多级存储架构

评论是 B站生态的重要组成部分,涵盖了 UP 主与用户的互动、平台内容的推荐与优化、社区文化建设以及用户情感满足。

bilibili_TC的博客 1753

《高性能SQL调优精要与案例解析》样章

《高性能SQL调优精要与案例解析》样章,欢迎各位关注下载。

数据库生态圈(RDB & NoSQL & Bigdata)——专注于关系库应用与研究(Oracle & Mysql & Postgresql & SQL Server ) 1759

Windows Server 2012存储池高级管理:性能调优、维护与故障排查实战

软件定义存储(SDS)通过将物理存储资源抽象化、池化,实现了存储管理的灵活性与自动化,其核心原理在于解耦硬件与数据服务。这项技术为IT基础设施带来了显著价值,包括提升资源利用率、简化运维以及降低成本。在众多应用场景中,Windows Server存储池作为典型的软件定义存储实现,广泛应用于虚拟化环境、文件服务器和数据库后端存储。本文聚焦于存储池的高级配置与管理,深入探讨如何通过存储分层策略优化性能,并结合PowerShell脚本进行实时监控与基线建立。文章将详细解析虚拟磁盘的布局、交错大小等关键参数的调优方

weixin_29587015的博客 273

《高性能SQL:调优精要和案例解析》书籍导读

内存架构 【实例——内存】服务器操作系统为实例分配的内存区域,通过V$MEMORY_DYNAMIC_COMPONENTS查询,分为两部分: 1、系统全局区(SGA:System Global Area),是数据库实例启动时创建的一个共享内存区域,其大小和相关配置通过参数文件中的相关参数来控制。为实例范围内共享的,可以通过V$SGA、V$SGA_DYNAMIC_COMPONENTS、V$SGAI...

老狼的专栏 578

【存储架构演进】从直连到网络:DAS、SAN、NAS核心原理与选型指南

本文深入解析存储架构演进历程,对比DAS、SAN、NAS三大技术的核心原理与应用场景。从直连存储的性能瓶颈到网络存储的共享优势,提供详细的选型指南和实战配置示例,帮助企业根据业务需求选择最佳存储方案,涵盖金融、制造等典型行业应用案例。

weixin_30258901的博客 498

SQL调优精讲与实战案例分析

本文还有配套的精品资源,点击获取 简介:SQL调优是提升数据库性能的关键技术,涵盖了查询优化、索引优化、存储优化等多个方面。文章结合MySQL性能调优,详细分析了如何通过合理创建和使用索引、选择合适的存储引擎、优化查询结构、实施缓存策略和架构调整等方法,提高数据检索速度,减少资源消耗,增强应用性能。同时,通过实际案例的分析,提供了解决性能问题和最佳实践的参考。 1...

weixin_33068055的博客 867

主流关系库SQL调优(SQL TUNING或SQL优化)核心机制之——索引(index)

本文主要阐述和探讨了各主流关系库中的索引(Index)机制,希望对读者有所帮助、受益。

数据库生态圈(RDB & NoSQL & Bigdata)——专注于关系库应用与研究(Oracle & Mysql & Postgresql & SQL Server ) 1046

SQL调优与案例

SQL调优与案例与架构优化,通过本书可以了解到如何sql语句优化

《高性能SQL调优精要与案例解析》——10.4_SQL语句改写部分文档

应各位读者要求,现将《高性能SQL调优精要与案例解析》中《10.4 SQL语句改写》部分整理成电子文档,供各位读者及同学下载。

数据库生态圈(RDB & NoSQL & Bigdata)——专注于关系库应用与研究(Oracle & Mysql & Postgresql & SQL Server ) 1633

高性能SQL调优

高性能SQL调优code+书签

使用模拟工具Modbus poll 和PLC 通讯

使用模拟工具Modbus poll 和PLC 通讯 简介 Modbus Poll 是一个模拟Modbus 主站的工具。不用在现场调试,在家也能使用,方便快捷的调试验证程序。使用它可以和PLC进行Modbus TCP /RTU 通讯等功能,接下来为大家介绍使用Modbus Poll 和 PLC 进行 Modbus TCP 通讯。 组态PLC PLC作为我们的从站和Modbus Poll 通讯,那我们组态一个PLC。 创建通信DB 创建一个DB块,在数据类型处输入:TCON_IP_V4

weixin_61398412的博客 1万+

QuestDB完全学习指南

QuestDB完全学习指南

姜穆澜的博客 468

多GPU时代的虚拟内存革命:CUDA VMM API的跨设备协同设计哲学

本文深入探讨了NVIDIA CUDA VMM API在多GPU系统中的虚拟内存管理革命,解决了传统Peer Access的显存碎片化和同步开销问题。通过地址-内存解耦、按需映射和精细权限控制,VMM API为分布式训练提供了高效的内存协同方案,显著提升大模型训练性能。

weixin_29251337的博客 538

(一)走进阿里云实时计算Flink版|产品能力篇【下篇】

简介作为全球领先的实时计算技术团队,阿里云 Flink 团队致力于为企业提供高性能、高可靠、易用的实时数据处理解决方案,助力企业实现数据驱动的业务创新与价值创造。本篇内容将全面解读阿里云实时计算 Flink 版的产品架构、核心能力和技术优势,后续将为大家继续介绍 Flink 的场景与案例。02阿里云实时计算Flink版介绍业务连续性:动态扩缩容与参数动态更新阿里云实时计算 Flink 版提供业务连续性保障能力,解决大规模实时数据服务持续在线问题。传统方式下,修改运行中作业需停止当前作业,提交修改后作业,等待

Ververica的博客 2785

2024高教社杯数学建模国赛B题丨国一原创论文解析及源码超详细分享!

继续分享一篇2024国赛B题的国奖论文,包含可运行源代码jupyter,国赛B题通常比较聚焦实际复杂系统的多目标优化决策,主要偏重算法实现与概率建模解决开放性的管理问题。而且高度开放,无标准答案,学科交叉复杂,如资源调度、交通优化、海洋探测等。比较建议有一定统计学基础的同学参加。

ihui永不放弃 6743

2025小红书跳转卡片实战指南:从零搭建独立后台与自动化发卡系统

本文提供了一份2025年小红书跳转卡片的实战搭建指南,详细解析了独立后台系统的核心架构与自动化发卡流程。文章从零开始,手把手教你使用Node.js、Vue.js等技术栈构建包含后台管理、用户制卡中心与前端交互的完整系统,旨在帮助运营者实现合规引流,并掌握数据自主权与自动化运营能力。

weixin_29234423的博客 519

存储架构 NAS 与 SAN:有什么区别?

你好,这里网络技术联盟站。SAN(Storage Area Network)和NAS(Network Attached Storage)是两种存储架构,它们在数据存储和管理方面有着不同的设计理念和应用场景。SAN通常将存储设备连接到一个独立的高速网络,而NAS则通过普通的网络协议提供文件级别的数据访问服务。本文瑞哥将带大家深入讨论 SAN 和 NAS 的区别,帮助大家更好地理解这两种存储解决方案的异同,以便在实际应用中作出明智的选择。

网络技术联盟站 5361

MR2数据集实战:5步搞定多模态谣言检测模型训练(附完整代码)

本文详细介绍了如何使用MR2多模态数据集构建高精度谣言检测系统,涵盖环境配置、数据准备、多模态特征工程、模型架构设计、训练调优及部署优化等5个关键步骤。通过双线性融合技术处理文本、图像和网页三模态数据,解决特征对齐和模态冲突等工程难题,并提供完整代码实现和性能优化方案。

weixin_42657024的博客 241

主流关系型数据库存储架构层的差异分析

大家好,我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编,也是冬天不穿秋裤,天冷也要风度的程序猿!在现代软件开发中,关系型数据库(RDBMS)是支撑系统数据存储和管理的核心组件。理解和选择合适的数据库存储架构层对于应用性能和可扩展性至关重要。本文将对几种主流关系型数据库的存储架构层进行分析,以帮助大家更好地选择适合自己应用场景的数据库。

技术研究中心 873

OpenClaw 多机器人多 Agent 模式:打造你的 AI 助手团队

OpenClaw多Agent模式为企业提供高效的AI助手团队解决方案。通过创建4个独立的飞书机器人(主助理、内容创作、技术开发、AI资讯),每个连接专属Gateway和Agent模型(如Claude Opus/Sonnet、Gemini 2.5),实现专业分工。相比单Agent模式,多Gateway架构具有配置清晰、互不干扰、无需手动切换等优势。系统采用Profile隔离机制,各Agent拥有独立配置和端口。部署过程包括创建机器人应用、配置Agent、运行自动化脚本等步骤,支持私聊或群组@使用。日常提供状态

Maynor的博客 5108

精度与速度双突破:YOLOv8-Pose 在 RK3588 上实现高性能人体姿态分析部署

本教程从YOLOv8-pose模型的姿态识别训练,到RK3588的边缘量化部署,为你打造了一套“高精度+高实时性+低成本”的人体姿态分析解决方案。无论是健身动作纠正、智能安防行为检测,还是工业人员姿态监控,这套技术都能直接复用——你只需替换数据集与业务逻辑,即可快速落地专属的边缘AI姿态识别系统。如果你在实践中遇到任何卡点,欢迎随时交流。记住,人体姿态识别的价值在于“关键点准、推理快、部署易”,而这三者的平衡,正是你通过本教程能掌握的核心能力。

know_F0727的博客 435

MySQL-01存储架构

MySQL采用分层存储架构,包括连接层、服务层、存储引擎层和文件系统层。连接层处理客户端连接和认证;服务层包含SQL解析器、查询优化器和缓存机制;存储引擎层支持多种引擎如InnoDB、MyISAM等,各有特点。数据流分为查询和写入两种流程,通过缓冲池和日志机制优化性能。架构采用分层优化策略,从应用到硬件层面均有优化空间,并内置多种监控组件用于性能诊断。

d3y1`5 81_09 961

华为MetaERP PTP采购到应付全流程解析

摘要:本文系统解析华为MetaERP中的PTP(采购到应付)全流程管理方案,涵盖从采购申请到付款执行的完整业务流程。文章详细分解了PR、PO、GR、IV、AP等关键环节的财务核算规则,并提供了预算校验、库存更新等Python代码示例。同时阐述了IT落地架构设计,包括会计引擎配置、系统集成方案及银企直连支付接口实现。该方案通过三单匹配自动化和智能会计引擎,将处理效率提升10倍(200笔/人天→2000笔/人天),实现98%的自动化率,为集团企业提供了高效的数字化财务管理样板。文中所有技术方案均需根据实际场景调

金牌架构师 1744

终极OceanBase存储优化技术指南:从分布式架构到性能调优的实战秘籍

OceanBase作为一款高性能分布式数据库,专为事务处理、分析型工作负载和AI应用设计,其存储优化技术是实现极致性能的核心。本文将深入解析OceanBase的存储架构设计原理,分享实用的性能调优策略,帮助开发者充分发挥这款分布式数据库的潜力。 ## OceanBase分布式存储架构解析 📊 OceanBase采用创新的分布式存储架构,通过多副本机制和智能分区策略实现高可用与高性能的平衡。其

gitblog_00506的博客 931

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

上一篇: 高性能sql调优-整体架构
下一篇: 高性能sql优化-对象类型
JavaWeb_Hao
博客等级 码龄9年 21粉丝 73原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值