CMU15 445/645课程-Tree Based Indexes笔记

最新推荐文章于 2023-08-23 19:22:46 发布
原创 最新推荐文章于 2023-08-23 19:22:46 发布 · 1.6k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#B+Tree

本文详细介绍了B+树数据结构的特点，包括其作为高效搜索、插入和删除的底层实现，以及如何通过节点数量和访问方式优化性能。讨论了B+树在实际应用中的操作流程，如插入、删除等，并特别强调了合并操作的重要性及具体实现方法。此外，对比了B+树与其他数据结构如SkipList和RadixTree的优缺点，深入分析了它们在不同场景下的适用性和局限性。

B+Tree

一种搜索，插入，删除都是log(n)的数据结构
a.节点可以有超过两个的子节点
b.适合顺序存取
两种访问叶子节点值得方法
1.Record IDs:指针指向元祖位置
2.Tuple Data:远足内容存在叶子节点中

B+ Tree Operations

插入
流程图

这里写图片描述
这时我们插入70
这里写图片描述
删除
首先，删除键值为70的这条记录，删除后。
这里写图片描述
接着我们删除键值为25的记录，但是该值还是Index Page中的值，因此在删除Leaf Page中25的值后，还应将25的右兄弟节点的28更新到Page Index中，最后可得到图。
这里写图片描述
最后我们来看删除键值为60的情况，删除Leaf Page中键值为60的记录后，填充因子小于50%，这时需要做合并操作，同样，在删除Index Page中相关记录后需要做Index Page的合并操作，最后得到图。
这里写图片描述

B+Tree 设计准测

Merge:
1.当DBMS半满时不会总是merge
2.延迟的merge操作会减少重组的数量

有重复键的索引
1.Duplicate keys:使用同一个叶子节点，但是存储相同的keys很多次
2.Value lists:只存储一次key，维护一个独一值的链表

不同长度的keys:
1.指针：存储键值作为指向元组属性的键值
2.不同长度的节点：B+tree的每个节点大小不同，但是需要仔细的内存管理
3.Key Map:插入一个指针数组，映射到节点中的key-value

前缀压缩：
1.中间层节点，我们不需要整个key
2.存储一个最小的节点，你要保证正确的指向索引

Skip List:

这里写图片描述
插入：扔硬币决定该节点在第几层，然后插入
删除：每个节点有一个flag，要删除时，就设置flag，告诉进程忽略这个值，然后一层一侧把他的引用给忽略点

Advantage over B+ Tree:
a.使用更少的内存
b.插入和删除不需要再次平衡

Disadvantage over B+ Tree:
a.硬盘/缓存不友好，因为没有优化位置
b.调用随机数（实现抛硬币）多次非常慢

Radix Tree:

这里写图片描述
1.每个字母一个节点，不同于TRIE（同样字母为一个节点，剩下的全部为一个节点）

基于树的召回框架（二）：Joint Optimization of Tree-based Index and Deep Model for Recommender Systems
pyxiea
04-11 1522
阿里基于树结构的召回体系一共发了三篇paper，这是第二篇，其他两篇论文的阅读笔记见下方链接： 论文笔记：Learning Tree-based Deep Model for Recommender Systems 本文讲解论文的 supplementary files 下载，包括一些论断的证明过程以及 JTM 的代码实现 论文笔记：Learning Optimal Tree Models under Beam Search 此链接尚未更新 背景 在第一篇论文中提出的基于树结构的召回模型，优化树结构 T
CMU 15-445/645 Lab1-BUFFER POOL
yyy_3y的博客
12-26 1261
0.写在前面 GitHub同步更新，欢迎star～ https://github.com/kaniel-outis/CMU15-445 写这篇文章的时候看到 lecture 5:Buffer Pool. 写完homework 1，然后准备动手Lab1。 Lab1的地址：https://15445.courses.cs.cmu.edu/fall2020/project1/ Task1 - LRU REPLACEMENT POLICY 这一部分的Lab在 lecture 5:Buffer Pool中有一些讲解
【CMU 15-445】Extendible Hash Table 可扩展哈希详细理解
MelroseLbt的博客
03-06 5239
CMU 15-445 Database System, 可扩展哈希（Extendible Hash Table），详细理解。
CMU15-445/645 Lecture#1 Course Introduction and the Relational Model
qq_16860161的博客
05-08 283
关系性数据库提出的背景 刚开始是没有数据库这概念的.当数据量比较少时用一个啥txt文本文件就差不多就能搞定了.但数据量稍微多一点时,而且数据保存在不同的文件中.比如啥txt,doc,excel等文件.此时要处理数据还是手动去查询更改就非常之麻烦.可能得再整个简单应用程序帮你做些事了.只给你提供一些简单的用户界面.封装背后的一些复杂操作.此时数据的组织和保存还是主要依靠操作系统的文件系统.应用程序只...
PROJECT #0 - C++ PRIMER [CMU 15-445645]笔记
qq_42896106的博客
06-18 512
这是数据库领域的一门课程, 由卡内基梅隆大学副教授Andy Pavlo授课, 目前在网上有授课视频资料、实验以及配套的在线测评环境 (限时开放至2021年12月31日)环境: wsl2 + Clion还是很简单的,主要目的是让学生熟悉 C++17 的基本语法代码如下: x *matrixB, const RowMatrix *matrixC) { std::unique_ptr tempMat = std::move(Multiply(matrixA, matrixB)); if (tempMat == n
15-445阅读材料
songjiji2的博客
12-18 301
Introduction 数据库管理系统(DBMS)是一组相互关联的数据和一组访问这些数据的程序的集合。数据的收集，通常称为数据库，包含与企业相关的信息。DBMS的主要目标是提供一种既方便又高效的存储和检索数据库信息的方法。 数据库系统被设计用来管理大量的信息。数据管理既包括为信息存储定义结构，也包括为信息操作提供机制。此外，数据库系统必须确保存储的信息的安全，尽管系统崩溃或试图未经授权访问。...
精选资源
CMU 15-445/645(FALL 2022) slides and notes
12-28
这些文件是卡内基梅隆大学（CMU）2022年秋季学期15-445/645课程的幻灯片和笔记，该课程可能专注于数据库系统或相关领域。根据提供的文件名，我们可以推测课程内容涵盖了一系列关键主题，包括数据存储、并发控制、...
CMU 15-445/645 Lab2-B+Tree Index
yyy_3y的博客
03-12 1944
0.写在前面 GitHub同步更新，欢迎star～ https://github.com/kaniel-outis/CMU15-445 Lab2的地址：https://15445.courses.cs.cmu.edu/fall2020/project2/ 本文主要总结一下在写Lab2遇到的几个问题，然后是Task的解决思路（不公开代码，如果有问题可以留言）。 对应lab2-check point 1. Task #2.a - B+Tree Data Structure (Insertion & P
CMU 15-445/645-Note11-Distributed Databases
yyy_3y的博客
02-22 464
0.写在前面 based on CMU 15-445/645 2020fall, Lecture #21 ~ Lecture #24. 1: SYSTEM ARCHITECTURE 1）SHARED Everything:非分布式系统使用。 2）SHARED Memory:多个CPU通过一个通信层去使用同一个内存。 3）SHARED Disk：CPU上运行的worker有自己的本地内存，通过通信层共享磁盘。（可以直接扩充node，cpu之间需要通信来了解当前的状态）(云架构) 4）SHARED Nothi
CMU 15-445/645-Note6-执行篇-Query Execution
yyy_3y的博客
03-13 2080
0.写在前面 based on CMU 15-445/645 2020fall, Lecture #12～Lecture #13. 1:执行模型(PROCESSING MODEL) DBMS 的执行模型定义了系统执行查询计划(query plan)。每一个query plan都要实现一个next函数和一个init函数，对于next函数每次调用时，返回一个元组或空标记(如果没有更多元组)。 主要有三种方法： Approach #1: Iterator Model Approach #2: Materializ
CMU-15-445：CMU的数据库系统课程
02-04
CMU-15-445：CMU的数据库系统课程
cmu15-445课程笔记
风中的默默
08-23 1万+
总结起来，cmake …用于配置并生成构建文件，而 make 用于实际执行构建，根据构建文件中的规则进行编译和链接。cmake：将 CMakeLists.txt 文件中的配置指令解析为适用于所选构建系统的构建文件。接下来我们可以在本机的编译器编写我们的代码。然后在服务器上编译和运行我们的代码。make: 在生成了构建文件后，编译项目的源代码并生成最终的可执行文件。1、下载安装Clion，安装C++编译环境。2、服务器装依赖包，安装Cmake。Clion远程连接服务器。
CMU15-445 Tree Indexes II Note
qq_53111905的博客
09-29 261
Tree Indexes II 1 B+树设计选择 1.1 Node Size 节点大小 根据存储介质，我们可能更喜欢更大或更小的节点大小。 例如，存储在硬盘驱动器上的节点的大小通常为兆字节数量级，以减少查找数据所需的搜索次数并分摊大块数据上昂贵的磁盘读取，而内存数据库可能使用页面大小小到 512 字节作为节点，以便将整个页面放入 CPU 缓存中并减少数据碎片。 这种选择也可能取决于工作负载的类型，因为点查询希望页面尽可能小以减少加载的不必要的额外信息量，而大型顺序扫描可能更喜欢大页面以减少所需的提取次数
CMU 15-445 Project #1 - Buffer Pool（Task #2 - LRU-K Replacement Policy）
We choose to go to the moon in this decade and do the other things, not because they are easy, but beacase they are hard.
06-12 1554
题目链接、准备工作、部分实现、自定义测试用例
CMU 15-445 -- 关系型数据库重点概念回顾 - 01
m0_53157173的博客
06-29 1616
CMU 15-445 -- 关系型数据库重点概念回顾
【CMU 15-445】学习笔记与Lab汇总
juruo_c的博客
05-23 3833
又来开新坑啦！本门课程为CMU的数据库原理课程，我学习的版本为Fall2023，教授为Andy（上课有DJ）。准备跟着课程的Schedule来做，就是先看配套教材的相应章节（Database-System-Concept-7th），再看Lecture，最后做Project。在看完教材与Lecture之后，我会写出自己的学习笔记，在做完之后，我会写出相应的思考过程与自己的解题思路，但不会公开任何代码（应Andy强烈要求！
CMU15-445数据库系统课程实验详解
westbrookliu的博客
11-10 8777
CMU-15-445 学完CMU15-445之后有很大的收获，特别做其中的实验，因此记录了一些笔记。 课程地址 CMU的数据库系统课程时间表 实验代码 课程简介 该课程是CMU的数据库系统的基础课程，实验需要使用C++11，一共有四个实验： 缓冲池管理器 B+树 并发控制 记录和恢复 实验代码在Lab目录下，如果想获得没完成实验前的代码，可以在github搜索，找找就有了。 建议 每次实验前都...
CMU15-445 数据库实验全满分通过笔记 2021 Fall bustub-cmudb lab
热门推荐
twentyonepilots的博客
10-20 1万+
CMU-DB 数据库15445 2021 bustub lab0 lab1 lab2 lab3 lab4 Project实现及C++学习记录
CMU 15-445实验记录（一）：project 0
qq_45698833的博客
09-09 3722
CMU 15-445实验记录（一）：project 0 要求实现一个矩阵和矩阵操作类 我们的代码必须遵守Google 的C++规范，使用Clang来自动检查代码样式，如果没有通过任何一项检查，项目成绩将为0 。 执行以下命令来检查代码规范和语法，format 目标将自动更正代码。 check-lint 和 check-clang-tidy 目标将打印错误并指导如何修复它以符合我们的风格指南。 $ make format $ make check-lint $ make check-clang-tidy 为
private static final String ACOUSTIC_MODEL_PATH = "resource:/edu/cmu/sphinx/models/en-us/en-us"; private static final String DICTIONARY_PATH = "resource:/edu/cmu/sphinx/models/en-us/cmudict-en-us.dict"; private static final String LANGUAGE_MODEL_PATH = "resource:/edu/cmu/sphinx/models/en-us/en-us.lm.bin"; 这几个常量是干啥的引入了外部的jar包吗？
最新发布
07-31
<think>我们正在讨论的Java常量是语音识别系统中的配置参数，它们用于指定语音识别所需的模型文件路径。这些模型文件是预先训练好的，用于帮助语音识别引擎将音频信号转换为文本。具体来说： 1. **ACOUSTIC_MODEL_PATH**：声学模型的路径。声学模型用于将音频信号分解为音素（语音的基本单位）并识别这些音素序列。它是在大量语音数据上训练得到的，能够适应不同的说话人、口音和发音习惯。 2. **DICTIONARY_PATH**：发音词典的路径。发音词典是一个映射文件，它将单词映射到其音素序列。例如，单词“hello”可能被映射为`[hə'ləʊ]`。在识别过程中，系统使用这个词典来匹配声学模型识别出的音素序列，从而得到单词。 3. **LANGUAGE_MODEL_PATH**：语言模型的路径。语言模型用于捕捉语言的统计规律，例如单词之间的序列关系。它帮助识别引擎在多个可能的单词序列中选择最可能的一个（例如，“how are you”比“how are u”更可能出现在正式语言中）。语言模型通常基于大量的文本语料训练得到。 这些常量在代码中用于配置CMU Sphinx语音识别引擎。CMU Sphinx是一个开源的语音识别工具包，它提供了这些模型文件（通常可以在其官方网站或Maven仓库中找到）。 关于外部JAR包：是的，使用这些常量需要引入CMU Sphinx的外部依赖。在Maven项目中，我们通常添加以下依赖： ```xml <dependency> <groupId>edu.cmu.sphinx</groupId> <artifactId>sphinx4-core</artifactId> <version>5prealpha-SNAPSHOT</version> </dependency> ``` 这些模型文件通常被打包在JAR文件中，因此我们可以使用`resource:`前缀来从类路径中加载它们。例如，`"resource:/edu/cmu/sphinx/models/en-us/en-us"`指向的是`sphinx4-core`的JAR包中`edu/cmu/sphinx/models/en-us/en-us`目录下的声学模型文件。 ### 补充说明 - 这些模型文件通常较大，因此在使用时需要注意内存消耗。 - 对于不同的语言（如中文），需要下载并指定相应语言的模型文件。 - 在代码中，我们通过`Configuration`对象设置这些路径，然后创建`StreamSpeechRecognizer`实例进行语音识别。 ### 相关问题 1. 如何为中文语音识别配置这些模型路径？ 2. 除了CMU Sphinx，Java中还有哪些可用的语音识别库？ 3. 如何训练自定义的声学模型和语言模型？ 4. 语音识别在处理长音频时需要注意哪些问题？</think>### Java语音分析系统中的常量作用 在Java语音分析系统中，以下三个常量是语音识别模块的核心配置参数： 1. **ACOUSTIC_MODEL_PATH** 声学模型路径，指定音频特征与音素(phoneme)之间的映射关系。该模型通过大量语音数据训练得到，用于将原始音频信号转换为可识别的语音单元。 **作用**：将音频波形映射到语音的基本单位（音素），解决"如何发音"的问题[^1]。 2. **DICTIONARY_PATH** 发音词典路径，包含单词与其对应音素序列的映射关系。 **作用**：连接声学模型和语言模型的桥梁，将音素序列组合成实际单词，解决"发什么音对应什么词"的问题[^2]。 **示例**：`hello → HH EH L OW` 3. **LANGUAGE_MODEL_PATH** 语言模型路径，包含单词序列的概率分布和语法规则。 **作用**：预测单词序列的可能性，解决"哪些词组合在一起有意义"的问题（如"how are you"比"how you are"概率更高）[^3]。 ### 依赖的外部JAR包 这些常量需要以下外部库支持： ```mermaid graph LR A[语音识别功能] --> B[sphinx4-core] B --> C[声学模型] B --> D[发音词典] B --> E[语言模型] ``` 具体依赖关系： 1. **CMU Sphinx**（核心语音识别库） ```xml <dependency> <groupId>edu.cmu.sphinx</groupId> <artifactId>sphinx4-core</artifactId> <version>5prealpha-SNAPSHOT</version> </dependency> ``` 提供： - 声学模型（en-us目录） - 发音词典（cmudict-en-us.dict） - 语言模型（en-us.lm.bin） 2. **音频处理支持** ```xml <dependency> <groupId>com.googlecode.soundlibs</groupId> <artifactId>tritonus-share</artifactId> <version>0.3.7-2</version> </dependency> ``` ### 工作流程 ```mermaid sequenceDiagram participant A as 音频输入 participant B as 声学模型 participant C as 发音词典 participant D as 语言模型 participant E as 文本输出 A->>B: 原始音频信号 B->>C: 音素序列 C->>D: 候选单词 D->>E: 最可能文本 ``` ### 示例配置 ```java // 配置语音识别引擎 Configuration config = new Configuration(); config.setAcousticModelPath("resource:/edu/cmu/sphinx/models/en-us/en-us"); config.setDictionaryPath("resource:/edu/cmu/sphinx/models/en-us/cmudict-en-us.dict"); config.setLanguageModelPath("resource:/edu/cmu/sphinx/models/en-us/en-us.lm.bin"); // 创建识别器 StreamSpeechRecognizer recognizer = new StreamSpeechRecognizer(config); ``` ### 相关问题 1. 如何为不同语言（如中文）配置语音识别模型？ 2. 声学模型和语言模型的主要区别是什么？ 3. 如何训练自定义的发音词典？ 4. 语音识别系统在嘈杂环境中的优化策略有哪些？ 5. 实时语音识别与离线语音识别在实现上有何不同？ [^1]: 声学模型将音频信号转换为音素序列 [^2]: 发音词典映射音素到实际单词 [^3]: 语言模型预测最可能的单词序列
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值