窥视数据库索引

奈曼-皮尔逊准则 奈曼-皮尔逊准则 如果各个假设的先验概率P(Hi)(i=0,1)P(H_i)(i=0,1)P(Hi​)(i=0,1)已知,并且每种判决的代价函数已知,这时,可以用贝叶斯准则进行判决。 如果进一步假设正确判决不付出的代价,而错误判决代价相同,即c00=c11=0,c01=c10=1c_{00}=c_{11}=0,c_{01}=c_{10}=1c00​=c11​=0,c01​=c10​=1,这时可以用最小平均错误概率准则进行判决。 在不知道先验概率P(Hi)(i=0,1)P(H_i)(i=0,1)P(Hi​)( 阅读详情

1. 索引简介

在讲解索引技术之前,让我们来重现两个生活场景。

1)在新华字典中查询“索引”这个词。一般情况,我们会直接在字典的目录中按拼音找到“s”(或者按笔画),然后定位到“索”,最后找到“索引”对应的页码。

2)在图书馆中借阅《数据库系统概念》。一般情况,我们会按照图书分类,先找到计算机科学分类的书架,然后找到数据库的书架,最后再定位到《数据库系统概念》;当然如果我们目标明确,可以直接在图书馆系统中查询书目的“索引码”,然后根据索引码再去定位书架。

以上两个生活场景中,我们都用到了索引的概念,新华字典中的目录、图书馆的索引码都是索引概念的具体实现。

在计算机中,索引是文件系统或数据库实现时,为了能够快速定位、更新记录,而引入的一种数据结构。数据库中一般采用树或散列来组织索引,索引节点会存储记录本身或指向记录的指针。索引的两个个主要关键点:

1)搜索码(search key):新华字典的目录中的拼音或笔画;图书馆例子中的图书分类号

2)数据结构:顺序结构、树、散列

2. 数据库索引的数据结构

2.1 顺序索引

如字典目录和图书馆索引一样,顺序索引按顺序存储搜索码的值,并将搜索码与包含该搜索码的记录建立映射关系。顺序索引又分为稠密索引和稀疏索引。

稠密索引(dense index):每一条索引记录(index record)都会有一个对应的索引

稠密索引

稀疏索引(sparse index):索引指向的是存储索引记录的磁盘块,而不是索引记录本身的地址。与稠密索引相比,稀疏索引利用了操作系统在读磁盘信息时读的是磁盘块这个特性(磁盘块一般为4KB)。

稀疏索引

多级索引:当数据库存储的数据量特别大时,会造成稀疏索引本身占的空间很大,这样会带来两个问题1)索引太大导致无法直接放入内存,增加读索引开销;2)索引太大造成查询索引次数的增加,从而导致查询性能降低。这其实又回到了问题本身,就是当数据量特别大时如何高效查询数据,按照这个想法,我们可以对索引本身建立索引,此种索引称为多级索引。

多级索引

2.2 B+树索引

B+树索引是一种多级索引,它是B树(二叉树)的一个扩展形式。参考百度百科的信息,对B+树的描述如下。

B+树是应文件系统所需而出的一种B树的变型树。一棵m阶的B+树和m阶的B树的差异在于:
1)有n棵子树的结点中含有n个关键字,每个关键字不保存数据,只用来索引,所有数据都保存在叶子节点。
2)所有的叶子结点中包含了全部关键字的信息,及指向含这些关键字记录的指针,且叶子结点本身依关键字的大小自小而大顺序链接。
3)所有的非终端结点可以看成是索引部分,结点中仅含其子树(根结点)中的最大(或最小)关键字。
通常在B+树上有两个头指针,一个指向根结点,一个指向关键字最小的叶子结点。

B+树的节点分为内结点和叶子结点。内结点只存放搜索码和子女指针;叶子结点保存搜索码和附属数据(指向索引记录的指针)。

B 树

 B Tree

PS:叶子结点都有指向下一个结点的指针,方便通过索引查找某一区间内的数据。另外,在多个事务并发操作、访问同一节点时,如果更新节点的事务导致该节点发生了分裂现象,则同时拿到该节点位置的查询事务可能在该节点中找不到目标数据项,此时需要继续在下一个节点中查询,直至找到目标数据项。

2.3 散列索引

散列技术有两个关键点:1)Hash函数的设计;2)存储方式的选择;

Hash函数在大部分时间内可以保证程序可以在O(1)时间内计算出索引记录桶的存储位置index=hash(search key),所以可以避免过多的索引结构访问。

Hash函数设计关键点:

1)保证索引记录均匀分布。每个桶获得的搜索码数量应该是相等的。

2)保证索引记录随机分布。每个桶获得的搜索码值应该是随机的,不受搜索码值本身影响。

常见的散列存储方式:

1)开散列(open hashing)。当桶溢出时,增加溢出桶。如下图所示。

2)闭散列(close hashing)。当桶溢出时,使用其他还有空间的桶。

溢出链

2.3.1静态散列

是一种需要固定桶地址集合B的散列技术,这种技术的hash()函数(一般采用除余法)会桶节点个数的影响。相同的搜索码,在桶节点发生改变前后hash(search key)值会发生变化。这种变化会影响到绝大多数的搜索码的映射关系。

2.3.2动态散列

动态散列又称为可扩展散列或一致性散列(consistent hash),它与静态散列表结构的区别主要在于增加了以下内容:
1)为桶引入了一个间接层,即用一个块的指针数组来表示桶,而不是用数据块本身组成的数组来表示桶;
2)指针数组能增长,它的长度总是2的幂,因此每次增长桶的长度都翻倍;
3)不是每一个桶都有一个数据块,如果某些桶的数据可以放入一个块中,则这些桶可能共用一个块;
4)散列函数为每个键计算一个K位二进制序列,但无论何时桶的数目都使用从序列第一位开始的若干位,此位数小于K。

动态散列可以保证桶改变前后,hash()函数只会对一小部分搜索码的映射产生影响。如果已经有一些内容通过哈希分派到了相应的缓冲中,又有新的缓冲区加入到系统中,那么哈希的结果应能够保证原有已分配的内容可以被映射到新的缓冲区中去,而不会被映射到旧的缓冲集合中的其他缓冲区。(当缓冲区大小变化时Consistent hashing尽量保护已分配的内容不会被重新映射到新缓冲区。)

3. 数据库索引的使用

常见的主要由主键索引(唯一索引的特例)、唯一索引、联合索引等

这块后续研究后在专门介绍

 

References:

1. idber, 深入理解DB2索引(Index), http://blog.youkuaiyun.com/idber/article/details/8096941

2. Baidu百科, B+树, http://baike.baidu.com/view/1168762.htm

3. Baidu百科, 可扩展散列表, http://baike.baidu.com/view/2246537.htm

4. Baidu百科, 一致性哈希, http://baike.baidu.com/view/1588037.htm

2026年GESP3月认证C++五级真题解析 因为要合并成升序数组,所以当A[i]小于等于B[j]时,取A[i],否则取B[j]。当a[i]>a[j]时,左边数组中从i到m的所有元素都大于a[j],因此逆序对数量增加m-i+1。给定一个包含n个互不相同的正整数的数组A与一个包含m个互不相同的正整数的数组B,请你帮忙计算有多少个数在数组A与数组B中均出现。下面代码实现两个整数除法,其中被除数为一个“大整数”,用字符串表示,除数是一个小整数,用int表示,则横线处应该填写()。且a[i] > a[j],则a[i]和a[j]是一个逆序对。 阅读详情

相关推荐

论文理解【LLM-Agent】——【SkillOpt】Executive Strategy for Self-Evolving Agent Skills

SkillOpt 将 agent skill 从人工或一次性 prompt artifact 转化为可验证、可控、可迁移的文本空间“可训练状态”,通过有界编辑、验证门控、拒绝编辑反馈和 slow/meta update,在不更新模型权重的情况下显著提升多类 agent 任务表现

佚失的诗篇 608

密文索引的实现

密文索引的实现

rede 2717

【智驾与大模型】端到端与多模态大模型的精彩之旅

智驾和大模型的回顾与展望。开头的笔者自述也说了些心窝子话,边缘计算的监管刻不容缓!

仿生实验室:从0到1,制作人脸表情交互机器人,记录过程,软硬件全部开源,与君共襄盛举! 1321

程序员必知必会:索引的基本概念

文章目录顺序索引B+ 树索引文件B+ 树扩展多码访问静态散列 vs 动态散列 顺序索引 1、索引能提高检索的效率; 数据库系统中的索引与图书馆中书籍的索引所起的作用一样;索引中保存了相应记录所在的磁盘块的信息,这样可以直接将该磁盘页一次性加载到内存中。 磁盘中数据库文件的存储结构,也跟图书馆相似,按内容的类型,分区域存储,然后再细分到不同的书架,不同的组中。 2、两种基本的索引类型:顺序索引,散列...

抱朴守拙 2739

从零开始,手把手教你用RTL代码设计一个简单的8位CPU(附状态图与ALU设计)

本文详细介绍了如何从零开始设计一个简单的8位CPU,包括状态机设计、ALU实现与RTL编码实战。通过具体的指令集分析、状态图设计和Verilog代码示例,帮助读者深入理解CPU工作原理,并掌握RTL代码编写技巧。特别适合计算机系统学习者和硬件设计爱好者。

weixin_30847063的博客 321

【Unity 实用工具篇】 | 滚动列表插件FancyScrollView,快速上手使用

FancyScrollView 是一款专为Unity引擎开发的高效滚动列表组件。它具有轻量级、可定制性强、性能优秀等特点。 使用FancyScrollView插件进行Unity项目开发,可以极大提升开发效率,尤其是在需要大量列表展示的场景下,如商城、目录列表、角色选择界面等。开发者可以将注意力集中在业务逻辑的实现上,而将界面渲染和交互部分交由FancyScrollView处理。 本文来介绍一下FancyScrollView的功能展示和基本使用方法。

努力前行,总会成为自己心中的那道光 3万+

绑定变量窥视 oracle,不均衡分区和绑定变量窥视导致的查询计划错误

周一收到生成支持人员的报告,系统上一个作业启动后很长时间没有完成,其执行时间远远大于上周的正常执行时间。接到报告后,首先检查了系统,不存在锁队列的问题。然后查询V$SESSION_LONGOPS,立即发现下面的语句正在进行长操作:SQL代码SELECT *FROM CR_BKG_INTMD_SHMT_PARTITION BKGSHMTRESULTWHERE BKGSHMTRESULT.BKG_CF...

weixin_39999025的博客 302

【华为OD机试真题 新系统】1029、字符串处理 | 机试真题+思路参考+代码解析(C++、Java、Py、C语言、JS)

【华为OD机试真题 新系统】1029、字符串处理 | 机试真题+思路参考+代码解析(C++、Java、Py、C语言、JS) 华为od机试,华为od机试真题,华为od机试E卷,华为odE卷,华为od机试真题E卷,华为OD,华为OD机试,华为OD机试真题,华为od机考,华为od机试D卷,华为od机试真题D卷,华为od手撕代码,华为od,华为od机试C卷,华为od e卷,华为2026e卷,od机试,2026E卷,华为OD机试E卷,什么是华为od,华为od介绍,全面了解华为od,2026华为od,如何备战华为od,

KJ.JK 221

oracle绑定变量 慢,Oracle认证:何时使用绑定变量性能反而差

select * from T_PEEKING a where b = :Vcall count cpu elapsed disk query current rows------- ------ -------- ---------- ---------- ---------- ---------- ----------Parse 1 0.00 0.00 0 0 0 0Execute 1 0.0...

weixin_39627661的博客 345

AI智能体面试实战与真题解析: 312+道面试题完整答案 (下篇)

本文覆盖220道基础八股文+92道项目面试题,涵盖Agent架构、RAG、工具调用、记忆系统、多智能体、大模型基础、工程化实践、Prompt工程9大模块,含完整代码实现和模拟面试剧本。

program哲学 312

【FPGA教程案例55】深度学习案例2——基于FPGA的CNN卷积神经网络之ReLu激活层verilog实现

在本课程中,我们将对CNN的ReLu函数模块的FPGA实现做详细的介绍和学习。从仿真结果可知,通过Rule激活函数之后,小于的输入数据输出为0,否则输出是输入本身。,我们对CNN的基本原理有了初步认识。ReLu函数具备如下优缺点。按照课程1相似的操作方式。

FPGA/MATLAB学习教程/源码/项目合作开发 2694

[OWI] Db file sequential read

1. Basic Info Oracle 是用户请求的数据不在的高速缓冲区的时候,服务器进程将相应的数据文件中的数据块加载到高速缓冲区。即称为常规路径(Conventional Path)I/O。常规路径 I/O ...

coufangsuo8228的博客 182

华为OD机试 - 名字的漂亮度(Java 牛客练习题)

本专栏包含了最新最全的2023年华为OD机试真题,有详细的分析和Java解答。已帮助1000+同学顺利通过OD机考。专栏会持续更新,每天在线答疑。每个字母都有一个“漂亮度”,范围在1到26之间。没有任何两个不同字母拥有相同的“漂亮度”。给出一个字符串,该字符串仅由小写字母组成,定义这个字符串的“漂亮度”是其所有字母“漂亮度”的总和。给出多个字符串,计算每个字符串最大可能的“漂亮度”。第一行一个整数N,接下来N行每行一个字符串。数据范围:输入的名字长度满足。每个字符串可能的最大漂亮程度。

学Java,找哪吒 1787

[20161029]无法窥视在PLSQL.txt

[20161029]无法窥视在PLSQL.txt --测试使用PL/SQL无法窥视绑定变量的情况: --例子链接:https://connormcdonald.wordpress.com/2016/10/20/taking-a-peek-at-sys_context/ 1.测试环境: SCOTT@test01p> @ ...

weixin_34357928的博客 163

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

什么时候使用绑定变量性能反而更差

扫描成本和OPTIMIZER_INDEX_COST_ADJ我们知道,在CBO模式下,Oracle会计算各个访问路径的代价,采用最小代价的访问路径作为语句的执行计划。而对于索引的访问代价的计算,需要根据一个系统参数OPTIMIZE...

cjl421391196的博客 88

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

绑定变量窥视 oracle,Oracle bind peeking(绑定变量窥视)

1.创建测试表SQL> create table system.wh(num1 number(10),num2 number(10));Table created.SQL> begin2 for i in 1 .. 10000 loop3 if i < 9997 then4 insert int...

weixin_39992957的博客 192

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

bind peeking(绑定变量窥视)

1.创建测试表 SQL> create table system.wh(num1 number(10),num2 number(10)); Table created. SQL> begin ...

ciyixi4265的博客 208

oracle -- bind peeking

The Problem with Bind VariablesWell, if bind variables are so great, why not use them all the time? Don’t we have ...

cuhao8037的博客 182

oracle 动态声明变量_Oracle11g新特性之动态变量窥视

1. 11g之前的绑定变量窥视我们都知道,为了可以让SQL语句共享运行计划,oracle始终都是强调在进行应用系统的设计时,必须使用绑定变量,也就是用一个变量来取代原来出如今SQL语句里的字面值。比方,对于以下三条SQL语句来说:select col1 from t where col2 = 1;select col1 from t where col2 = 2;select col1 from ...

weixin_39667509的博客 325

绑定变量窥视

  在了解了参数OPTIMIZER_INDEX_COST_ADJ的作用后。再了解一个对查询计划,特别是使用绑定变量时会产生重大影响的特性:绑定变量窥视(BindVariables Peeking)。绑定变量窥视是9i以后的一个新特性。它使CBO优化器在计算访问代价时,将绑定变量传入的值考虑进去,从而计算出更合理的成本(否则,将会计算平均成本)。看下面例子:

kyowoo的专栏 1169

oracle sql 优化相关

oracle net 单次获取结果集 默认10条 可修改array size,jdbc fetchsize  针对大统计 union all 等改为分析函数提升性能

异道的专栏 399

Oracle Treedump命令分析索引结构内部信息

索引结构包含了root block, branch block和leaf block,可以通过treedump窥视其分布情况。更详细的treedump说明参考Oracle DSI具体实验如下:1 建立测试表create tabl...

367

Oracle认证:何时使用绑定变量性能反而差

扫描成本和OPTIMIZER_INDEX_COST_ADJ  我们知道,在CBO模式下,Oracle会计算各个访问路径的代价,采用最小代价的访问路径作为语句的执行计划。而对于索引的访问代价的计算,需要根据一个系统参数OPTIMIZER_INDEX_COST_ADJ来转换为与全表扫描代价等价的一个值。这是什么意思呢?我们先稍微解释一下这个参数:OPTIMIZER_INDEX_COST_ADJ。它

annicybc的专栏 1280

oracle 11g 新特性之动态绑定变量窥视(一)

以前在it168发过,现在转过来。 1. 11g之前的绑定变量窥视 我们都知道,为了能够让SQL语句共享执行计划,oracle始终都是强调在进行应用系统的设计时,必须使用绑定变量,也就是用一...

cpbr82909536的博客 382

Oracle 绑定变量窥视

绑定变量窥视功能是数据库的一个特性,自ORACLE9i版本开始引入,默认是开启的。 “绑定变量窥视”表示,查询优化器在第一次调用游标时,会观察用户定义的绑定变量的值,允许优化器来确认过滤条件的选择性,以及是否使用绑定变量代替了常量。之后调用游标时不会出现窥视,且会根据指针共享标准来共享游标,即使随后的调用使用不同的绑定值。 使用绑定变量窥视,第一次解析包含绑定谓词的SQL...

weixin_30329623的博客 815

Oracle数据库性能调优实战:从诊断到优化

数据库性能调优是保障系统高效运行的关键技术,其核心原理在于通过资源分配优化和查询效率提升来降低响应时间。在Oracle数据库环境中,性能问题通常涉及SQL执行计划、内存管理和存储I/O等多个技术维度。通过AWR报告分析和执行计划诊断,可以精准定位全表扫描、统计信息陈旧等典型性能瓶颈。工程实践中,合理配置SGA/PGA内存参数、优化存储子系统以及建立长效监控机制,能显著提升系统吞吐量。本文以真实案例展示如何通过索引重建、绑定变量调整和批处理改造等手段,将查询响应时间从4.7秒优化至0.8秒,特别适用于数据量增

weixin_33483304的博客 322
上一篇: Lock Convoy
下一篇: 求二进制数中1的个数
Michael_R_Chang
博客等级 码龄12年 12粉丝 6原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值