高性能sql调优-整体架构

sql调优指南及高级sql技巧 【代码】sql调优指南及高级sql技巧。 阅读详情

一、序言

     所谓的整体架构就是保证数据库系统的正常工作和运行所必须的组件及其实现。从大的方面来讲,主要包含实例和数据库。在此基础上面,实例又可分为相关内存区域和服务进程组成;数据库包括各种相关文件。而这些相关内存区域和服务进程以及相关文件又可以再分。

二、分步介绍

     

                                                                         (分布图)

1、实例(Instance)

      实例也就是数据库实例,是由服务器上面的一组内存结构和进程组成,用以支撑和完成数据库的正常运行和操作,实例可以独立于数据库存在,主要包含下面的组件。

    1)内存(Memory):服务器操作系统为实例分配的内存区域,用于数据库内存方面的活动和操作,主要分为两部分:SGA和PGA。SGA为实例范围内共享的,其内存分为共享池(Shared Pool)、数据缓冲(Buffer Cache)、Redo缓冲等。其中共享池又可以分为库缓冲(Library Cache)和字典缓冲(Data Dictionary Cache)等。PGA是各个会话私有的。

    2)后台进程(Background Process):创建和维护实例的一组后台进程(或者线程),用以完成数据库内部的各种统一管理和监控任务。进程的数量和名字随着版本和具体配置的不同而有所不同,但是这些进程都是共享的,不是属于某个或者某些会话。

   3)服务进程(Server Process):实例为数据库会话创建或者分配的,用来完成会话任务的服务器端服务进程。实例为会话分配服务进程的方式,分为两种情况:

      当实例设置为专用服务器模式,用户和数据库之间建立会话时,实例就会为该胡话创建一个服务进程,用来完成会话的任务

      当实例设置为共享服务器模式时,实例会在数据库服务器上面启动一组服务进程,这部分进程不专属于某个会话或者某些会话,而是在会话执行任务时,实例调度进程(Dispatcher)将会话任务放到共享内存中的相关任务队列中,并择机将该任务分配为这组进程中的某一个进程,该服务进程完成会话任务后,会将该会话额外你唔的结构放到共享内存的相关结果的队列中,实例调度结果再择机将任务的结果返回给相关会话。因此,该模式下面的实例的所有的会话共享一组进程,这个可以进程配置的。并且一旦该组服务进程不足以服务实例中所有的会话时,实例会根据相关的参数设置动态创建和分配另外的服务进程,此后,当服务金车那个进程数量过剩时,这些服务进程会被释放掉。

    2、数据库(Database)

        数据库是由服务器上面的一组磁盘文件组成,用于存储数据库的相关的各种管理信息和用户数据,以保证数据库的正常运行和用户数据不丢失,数据库及其文件就恶意独立于实例而存在,其主要包括以下文件:

     1)参数文件(Parameter File):这是一个非常重要的文件,实例(数据库)启动时要使用它,该文件存储着实例的以及数据库的相关配置这些重要的信息,如果文件不存在的话Oracle无法创建实例,因此也是不能正常启动或者使用数据库的。

    2)控制文件(Control File):文件也是很重要的,该文件中存储着数据库的物理结构等重要信息。损坏后导致数据库不能够打开和使用,如果没有备份创建起来会非常麻烦,庆幸的是,控制文件提供了多路复制功能,即相同的控制文件可以存在多个副本,这些副本可以分别存储在多个不同的设备上面,这样既可以防止文件的损坏和丢失,同时也提高了访问控制文件的并发和性能。

    3)数据文件(Data File):实例存储用户数据的文件,其内部格式随着版本的不同而不同,因为用户的数据都存储在这些文件中,因此这些数据库的核心。

   4)回滚文件(Undo File):存储用于构造数据块前影像的数据的文件。当用户修改数据库中的数据时,系统会为该修改操作生成反操作向量,并把这些反操作向量存储到Undo表空间中。

  5)临时文件(Temp File):存储数据库中临时数据的文件。临时数据主要来至于两个方面:一个是当PGA中内存不能够满足会话某些操作的需求时,会话就会将一些临时或者中间数据暂时存储到临时表空间内(临时文件构成脸是表空间);二是用户在数据库中创建了临时表,其中的数据聚会存储到临时空间表中。

  6)重做日志文件(Redo Log File):存数据库修改操作的相关信息的文件,通过该文件可以保证数据库及其数据的安全和可恢复。

  7)归档日志文件(Archive Log File):存储数据库的历史,修改操作相关新的文件。Oracle的Redo文件是循环利用的,为了使得Redo文件中的数据不被覆盖,需要预先将Redo文件复制到其他位置,哪些被复制到其他位置的Redo文件就是归档日志文件。归档日志文件可以用来对数据库进行时间点恢复,同时,要相对数据库进行热备份,也必须要将数据库置于归档模式,这样数据库就会在Redo文件被覆盖前,自动在指定位置生成归档日志文件

   8)警告日志文件(Alert Log File):存储数据库的运行状态日志信息的文件。其中会记录一些有关数据库的运行日志、操作、报错以及其他的运行状态的信息,具体位置因版本不同而不同。

   9)跟踪文件(Tree File):记录数据库内部行为的文件,该文件是系统自动生成的。也可以是用户手动生成。

 

三、总结

   主要是数据库的一些内部构造,了解一下还是可以的,也可以加深你对数据的了解和底层的了解,相信会对你由不少的用处。加油

MySQL SQL 调优实战指南:从慢查询到高性能 SQL 调优是一个需要不断学习和实践的过程,需要结合具体的业务场景和数据特点,灵活运用各种调优技巧。希望本文介绍的 SQL 调优步骤和实战案例能够帮助您快速提升 SQL 查询性能,打造高性能的数据库应用。 阅读详情

相关推荐

浅谈StarRocks SQL性能检查与调优

StarRocks 作为一款高性能的分布式分析型数据库,其 SQL 性能调优需要结合其存储模型、分布式架构和查询优化器特性。以下是性能检查与调优的核心思路及实践方法: 关注点: SCAN 阶段:是否命中分区/分桶裁剪?数据扫描量是否过大? JOIN 阶段:是否触发 Colocate/Bucket Shuffle Join?是否存在数据倾斜? AGGREGATE 阶段:是否过度聚合?是否启用两阶段优化? 2. Profile 分析 查询 Profile:通过 开启,执行查询后获取详细资源消耗

Steven的博客 2162

SQL数据库的整体结构、索引、MVCC、锁、日志、查询优化,三大范式等

2、聚簇索引在增删改的时候比非聚簇索引慢很多,因为插入新数据时需要检测主键是否重复,这需要遍历主索引的所有叶节点,而非聚簇索引的叶节点保存的是数据地址,占用空间少,因此分布集中,查询的时候I/O更少,聚簇索引的主索引中存储的是数据本身,数据占用空间大,分布范围更大,可能占用好多的扇区,因此需要更多次I/O才能遍历完成。,因为可重复读隔离级别下,事务执行过程中看到的数据,一直跟这个事务启动时看到的数据是一致的,即使中途有其他事务插入了一条数据,是查询不出来这条数据的,所以就很好了避免幻读问题。

weixin_53344209的博客 1801

SQL Server整体架构(1)——数据库

本文对SQL Server数据库及其各组件概念与机制进行了较为深入详细的说明和讲解。

数据库生态圈(RDB & NoSQL & Bigdata)——专注于关系库应用与研究(Oracle & Mysql & Postgresql & SQL Server ) 3757

一条SQL语句在MySQL中如何执行的

MySQL 基本架构概览 请先了解InnoDB引擎 •连接器: 身份认证和权限相关(登录 MySQL 的时候)。 •查询缓存: 执行查询语句的时候,会先查询缓存(MySQL 8.0 版本后移除,因为这个功能不太实用)。 •分析器: 没有命中缓存的话,SQL 语句就会经过分析器,分析器说白了就是要先看你的 SQL 语句要干嘛,再检查你的 SQL 语句语法是否正确。 •优化器: 按照 MySQL 认为最优的方案去执行。 •执行器: 执行语句,然后从存储引擎返回数据。 MySQL 主要分为 Server

Kirito的博客 433

Matlab TreeBagger实战:用随机森林预测房价的5个关键步骤(附完整代码)

本文详细介绍了使用Matlab的TreeBagger工具包构建随机森林模型预测房价的完整流程。通过波士顿房价数据集实战,涵盖数据预处理、模型构建、参数调优、特征重要性分析及高级应用(如分位数回归)等5个关键步骤,并附有完整代码,帮助读者快速掌握这一强大的回归分析工具。

ol789012的博客 445

当OTN网络遭遇LOS告警:5个运维老手才知道的故障定位技巧(含CA动作对照表)

本文深入解析OTN网络中LOS告警的实战定位技巧,涵盖光功率深度诊断、模块差异分析及核心的CA动作机制。通过逆向追踪告警流与对照速查表,帮助运维人员快速锁定故障段落,区分硬软故障,并掌握系统健康度评估方法,从而提升排障效率与网络稳定性。

weixin_29266007的博客 556

MySQL基础,SQL架构篇

一篇文章了解SQL架构,文章从整体架构、MySQL执行流程、MySQL执行记录查看、以及buffer pool缓冲池四个角度进行讲解

isjiaye的博客 402

Innovus ECO修复时序违例:ecoAddRepeater插Buffer原理与实战

芯片物理设计越到后期,时序收敛越依赖局部修正而非全局重跑。ECO(Engineering Change Order)作为数字后端高频操作,能在不破坏既有布局布线结果的前提下,精准修复DRV违例、hold时序问题或实现功能补丁。其中,插入Buffer或Inverter是拆解长线RC负载、改善max_transition/max_capacitance最直接的手段。Innovus提供的ecoAddRepeater命令封装了单元选择、坐标摆放和网表重连等底层细节,配合ecoRoute可快速完成绕线。合理选型Buf

weixin_31858171的博客 301

SQL--架构、视图和索引

架构、视图和索引 架构 架构是指用于存储数据库对象的一个命名空间。用于集中管理数据库对象子集,这样极大地方便并简化了管理数据库对象。 创建架构 CREATE SCHEMA schema_name_clause [<schema_element> [...n]] <schema_name_clause>::= { schema_name | AUTHORIZATION owner_name | schema_name AUTHORIZATION

Ethan's Blog 894

手把手式介绍 ADNI 影像数据下载

1.搜索 1.1登录 打开ADNI的官网:http://adni.loni.usc.edu/,进入下面的界面。 点击 DATA&SMPLES 下的 ACCESS DATA AND SAMPLES,如下图。 页面跳转以后点击中间的“LOGIN”,这时会跳出一个新的界面,然后在右上角输入自己的帐号、密码即可。如果没有权限可以跳转到第2部分看看如何申请权限。 登录以后选择DOWNLOAD下的 Image Collections就是搜索下载影像数据,其他还有一些学习测试数据和遗传数据。 1.2 sea

永远想不起来更新的博客 1万+

Social-Auto-Upload实战:如何用Python+Playwright实现抖音/B站/小红书一键三连发?

本文详细介绍了如何使用Python和Playwright框架构建Social-Auto-Upload自动化上传工具,实现抖音、B站、小红书等平台的一键多发布。通过模拟真实用户操作和Cookie管理技术,该工具能有效解决内容创作者跨平台发布的重复劳动问题,提升工作效率。

day7的博客 1405

从 Query Mapping 到函数缓存,KingbaseES 高级 SQL 调优手段全揭秘

在数据库性能优化这块,SQL 调优绝对是提升系统响应速度、降低资源消耗的核心操作!KingbaseES 作为能兼容 Oracle 的企业级数据库,把从 SQL 语句改写、执行计划干预到结果集缓存的优化全给覆盖到了,一套高级调优工具直接拉满。今天就带大家手把手拆解 Query Mapping、物化视图、并行查询、函数结果集缓存这些关键调优手段,再配上实打实的实战代码,不管你是数据库管理员还是开发同学,都能快速上手这些高性能优化技巧!

鸽芷咕的博客 1万+

寻路最终版哦

相信大家用unity3d寻路的时候,一定会碰到多人

yxriyin的专栏 6956

【数据库调优】屡试不爽的面试连环combo

每次去面阿里都用这套连招,可以说是很全了

敖丙 2万+

什么是 SAP PCE?

SAP Private Cloud Edition 是一种基于云计算的部署模式,它结合了公有云的灵活性和私有云的安全性,为企业提供了量身定制的云服务。在 PCE 环境中,SAP 托管和维护客户的应用系统(如 SAP S/4HANA、SAP SuccessFactors 或 SAP BW/4HANA),同时客户拥有更高的定制化权限。专属环境:每个客户在云中拥有独立的资源,这保障了更高的安全性和性能。全面托管:SAP 提供基础架构、系统管理和更新服务,降低了客户的运维成本。灵活扩展。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 2252

基于Python的彭博社新闻高效爬取实战:最新技术与完整代码解析

本文将详细介绍如何使用Python最新技术构建一个高效的彭博社(Bloomberg)新闻爬虫系统。我们将从爬虫基础概念讲起,逐步深入到高级反反爬技术、异步抓取、数据解析与存储等核心环节。文章包含完整的代码实现,采用最新的aiohttp、Playwright等技术栈,并特别关注法律合规性和数据质量保障。通过本文,读者将掌握一个完整的商业新闻爬虫开发流程,并能够根据实际需求进行定制化开发。关键词:Python爬虫、彭博社、Bloomberg、新闻采集、aiohttp、Playwright、反反爬技术。

2201_76125261的博客 1503

YashanDB产品调优实战:分享日常调优技巧及提升系统性能的实战经验

在当今的数据库管理领域,YashanDB以其高效的性能和灵活的架构赢得了广泛的认可。然而,随着系统规模的扩展和用户需求的多样化,如何有效地进行数据库调优,最大化YashanDB的性能,成为每一位数据库管理员和开发者面临的重要课题。在本文中,我将分享一些日常使用YashanDB时的调优技巧,并介绍如何通过这些方法来提升系统的整体性能。

专注于 C/C++ 后端开发,涵盖基础语法、Linux系统与网络、MySQL数据库、常见算法及项目经验。 4万+

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

31 - MySQL调优之SQL语句:如何写出高性能SQL语句?

在开发中,我们要尽量写出高性能的 SQL 语句,但也无法避免一些慢 SQL 语句的出现,或因为疏漏,或因为实际生产环境与开发环境有所区别,这些都是诱因。面对这种情况,我们可以打开慢 SQL 配置项,记录下都有哪些 SQL 超过了预期的最大执行时间。// 开启慢 SQL 日志// 记录日志地址// 最大执行时间除此之外,很多数据库连接池中间件也有分析慢 SQL 的功能。

。 2922

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

GaussDB SQL 调优:从执行计划到AI驱动的进阶指南

GaussDB的SQL调优需结合其 ​分布式架构、多模型能力​ 和 ​AI工具链:索引设计与查询重写。执行计划分析与分布式代价估算。利用物化视图和向量化引擎加速OLAP场景。结合监控工具持续优化。通过上述方法,可显著提升GaussDB在复杂业务场景下的性能表现。

Gauss松鼠会 1845

MySQL调优之SQL语句:如何写出高性能SQL语句?

在开发中,我们要尽量写出高性能的SQL语句,但也无法避免一些慢SQL语句的出现,或因为疏漏,或因为实际生产环境与开发环境有所区别,这些都是诱因。面对这种情况,我们可以打开慢SQL配置项,记录下都有哪些SQL超过了预期的最大执行时间。//开启慢SQL日志//记录日志地址//最大执行时间除此之外,很多数据库连接池中间件也有分析慢SQL的功能。总之,我们要在编程中避免低性能的SQL操作出现,除了要具备一些常用的SQL优化技巧之外,还要充分利用一些SQL工具,实现SQL性能分析与监控。

echohuangshihuxue的博客 978

《java性能调优》4.高性能的SQL语句

MySQL 数据库是互联网公司使用最为频繁的数据库之一,不仅仅因为它开源免费,MySQL 卓越的性能、稳定的服务以及活跃的社区都成就了它的核心竞争力。 我们知道,应用服务与数据库的交互主要是通过 SQL 语句来实现的。在开发初期,我们更加关注的是使用 SQL 实现业务功能,然而系统上线后,随着生产环境数据的快速增长,之前写的很多 SQL 语句就开始暴露出性能问题。 在这个阶段中,我们应该尽量避免一...

回不到昨天@ 509

mysql sql优化与调优机制详解_《高性能SQL调优精要与案例解析》一书谈主流关系库SQL调优(SQL TUNING或SQL优化)核心机制之——索引(index)...

继《高性能SQL调优精要与案例解析》一书谈SQL调优(SQL TUNING或SQL优化),我们今天就谈谈各主流关系库中,占据SQL调优技术和工作半壁江山的、最重要的核心机制之一——索引(index)。我们知道,《高性能SQL调优精要与案例解析》一书中也再三强调索引对SQL调优的重要性,可是上篇文章中也谈到,只看案例和解决问题的具体方法,而不掌握SQL调优的基础知识,是没有用的,我们必须做到知其然,...

weixin_42464317的博客 251

MySQL查询优化实战从慢查询到高性能的SQL调优技巧

MySQL查询优化是一个系统性的工程,需要从慢查询分析入手,结合索引优化、SQL重写、数据库设计调整和服务器参数配置等多方面措施。优化的核心思想是减少数据扫描量,最大化利用索引,最小化磁盘IO。通过持续监控、分析和调优,可以逐步将慢查询转化为高性能的SQL语句,为用户提供流畅的数据访问体验。

qq_32511727的博客 864

MySQL调优

慢查询日志,顾名思义,就是查询花费大量时间的日志,是指mysql记录所有执行超过long_query_time参数设定的时间阈值的SQL语句的日志。该日志能为SQL语句的优化带来很好的帮助。默认情况下,慢查询日志是关闭的,要使用慢查询日志功能,首先要开启慢查询日志功能。如何开启,我们稍后再说。1.3.2.1.1慢查询基础-优化数据访问查询性能低下最基本的原因是访问的数据太多。大部分性能低下的查询都可以通过减少访问的数据量的方式进行优化。

CUITAO2305532402的博客 1300

高性能MySQL调优实战

一,数据库应该如何优化 数据库优化有很多层面。 1,SQL与索引 因为 SQL 语句是在我们的应用端编写的,所以第一步,我们可以在程序中对 SQL 语句进行优化,最终的目标是用到索引。这个是容易的也是最常用的优化手段。 2,表与存储引擎 数据是存放在表里面的,表又是以不同的格式存放在存储引擎中的,所以我们可以选用特定的存储引擎,或者对表进行分区,对表结构进行拆分或者冗余处理,或者对表结构比如字段的定义进行优化。 3,架构 对于数据库的服务,我们可以对它的架构进行优化。 如果只有一台数据库的服务器,我们可以运

weixin_45596022的博客 2545
上一篇: Ubuntu16.04安装maven3.50以上
下一篇: 高性能sql调优-存储架构
JavaWeb_Hao
博客等级 码龄9年 21粉丝 73原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值