Jeff Dean的Learned Index为数据库索引带来了哪些启发2

最新推荐文章于 2024-08-24 09:42:45 发布
原创 最新推荐文章于 2024-08-24 09:42:45 发布 · 1.9k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#索引技术 #Learned Index

本文探讨了Learned Index如何改进RM-Index、Hash索引和Bloom Filter索引，以降低空间占用并优化查询性能。尽管Learned Index在某些场景下可能牺牲查询速度，但它为数据库索引提供了新思路，尤其是在Read-Only的OLAP查询任务中。未来，Learned Index有望使数据库索引更智能和高效。

本文继续讨论Recursive Model Index(RM-Index)索引更新涉及的相关问题，以及Learned Index对Hash索引以及Bloom Filter索引如何进行改造来降低索引占用空间。


RM-Index索引的更新

上篇文章中关于RM-Index的设计以及与B-Tree索引的对比测试结果，主要针对只读场景的内存型数据库系统，也可以应用于更新频率较低的数据仓库系统中，对于Bigtable而言，每一个SSTable都是当内存中的数据积累了一定量之后才生成的，也可应用RM-Index的思路来优化现有的B-Tree索引。

数据更新包括两种情形：

  • appends 在现有数据集合的尾端进行appends
  • inserts 在现有数据集合的中间进行inserts

最低0.47元/天 解锁文章
时序数据库的索引策略：如何加速时间范围查询
AI天才研究院
06-10 1190
时序数据（Time Series Data）以时间戳为核心维度，具有高频写入、时间有序、时间范围查询主导的特征。本文从第一性原理出发，系统解析时序数据库索引策略的底层逻辑，构建「时间索引-标签索引-值索引」三维索引框架，覆盖理论推导、架构设计、实现优化及工程实践全链路。
Jeff Dean：Numbers Everyone Should Know
热门推荐
AI天才研究院
05-20 2万+
"Numbers Everyone Should Know" from Jeff Dean. Slides #1, Slides #2 (which are different)Where
Jeff Dean的Learned Index为数据库索引带来了哪些启发1
nosqlnotes的博客
03-09 2699
这篇论文在两个月前刚被公布出来的时候，因为带着Jeff Dean的署名曾一度被热传，但直到今天才认真读完这篇论文。Learned Index基于机器学习的方法，对传统数据库索引做了改造。本文先介绍Learned Index的RM-Index模型以及与B-Tree索引的对比。如论文开篇所言，可以将传统的数据库索引(Index)视为一种模型(Model)：B-Tree索引B-Tree索引模型将一个Ke...
b+树，learning index
11-29
## A C++11 implementation of the B-Tree part of "The Case for Learned Index Structures" A research **proof of concept** that implements the B-Tree section of [The Case for Learned Index Structures](https://arxiv.org/pdf/1712.01208.pdf) paper in C++. The general design is to have a single lookup structure that you can parameterize with a KeyType and a ValueType, and an overflow list that keeps new inserts until you retrain. There is a value in the constructor of the RMI that triggers a retrain when the overflow array reaches a certain size. The basic API: ```c++ // [first/second]StageParams are network parameters int maxAllowedError = 256; int maxBufferBeforeRetrain = 10001; auto modelIndex = RecursiveModelIndex recursiveModelIndex(firstStageParams, secondStageParams, maxAllowedError, maxBufferBeforeRetrain); for (int ii = 0; ii < 10000; ++ii) { modelIndex.insert(ii, ii * 2); } // Since we still have one more insert before retraining, retrain before searching... modelIndex.train(); auto result = modelIndex.find(5); if (result) { std::cout << "Yay! We got: " << result.get().first << ", " << result.get().second << std::endl; } else { std::cout << "Value not found." << std::endl; // This shouldn't happen in the above usage... } ``` See [src/main.cpp](src/main.cpp) for a usage example where it stores scaled log normal data. ### Dependencies - [nn_cpp](https://github.com/bcaine/nn_cpp) - Eigen based minimalistic C++ Neural Network library - [cpp-btree](https://code.google.com/archive/p/cpp-btree/) - A fast C++ implementation of a B+ Tree ### TODO: - Lots of code cleanup - Profiling of where the slowdowns are. On small tests, the cpp_btree lib beats it by 10-100x - Eigen::TensorFixed in nn_cpp would definitel
学习型索引库 - Learned Indexes 实践指南
最新发布
gitblog_00393的博客
08-24 726
学习型索引库 - Learned Indexes 实践指南 项目介绍 Learned Indexes 是一个由 Yangjufo 开发的开源项目，它颠覆了传统数据库索引的设计思路，利用机器学习模型来构建索引结构。这一创新理念旨在提高数据访问效率，减少存储开销，并优化查询性能。通过将复杂的数据访问模式映射到机器学习预测模型上，Learned Indexes 能够根据数据分布特性定制化索引，从而在某些...
Learned Index: A Comprehensive Experimental Evaluation
小蚂蚁与大象
04-30 304
为了解决这些问题，本文详细回顾了现有的学习索引，并讨论了学习索引中关键组件的设计选择，包括键查找(预测键位置的位置推断，如果预测的位置不正确则重新搜索位置的位置优化)，键插入，并发和批量加载。然而，像XIndex和FINEdex这样的学习索引获得了较大的索引大小和较高的插入/查找延迟，因为它们使用额外的空间(例如，对级缓冲区)来支持并发操作，这可能会减慢插入/查找操作，因为搜索同时涉及索引和缓冲区。此外，对于高度倾斜的插入数据，学习索引的插入性能下降很大，而传统索引的插入性能更稳定。
来给博客除草了：Learned Indexes for a Google-scale Disk-based Database
Andy
01-18 1313
论文研读：Google规模的基于磁盘的数据库的学习索引
The tail at scale by jeff dean
07-18
在大规模服务系统设计领域，Jeff Dean的名字是如雷贯耳的存在，作为Google技术的高级副总裁，他不仅在分布式系统和大规模计算领域有着深厚的研究，而且亲自参与了多个重要系统的构建，其中包括Google的搜索引擎、大...
经典 Learned Index 结构设计及其应用
Andy
04-26 2398
其整体的思想是保留了 B+树的内部节点（作为导航），把叶子节点替换成学习模型，不存储实际数据，而是存储学习模型的参数。更多的工作是在如何组织这些训练出来的线性模型下功夫，抑或是将已有结构稍作变化或不做变化，应用在某个场景下，在查询性能或存储开销取得了优良的性能。PGM 的基本节点单元使用 Linear Model，采用 Bottom-Up 的构建方式，上一层对下一层的代表数据（每个 Segment 的起始点）递归地使用线性回归来构建索引树，其插入采用了类似 LSM 层次合并的思想来设计。
Learned Index on GPU（ICDE2022）
小蚂蚁与大象
08-03 426
3) GPU具有层次化的存储空间和独特的高效访存方式，因此需要考虑当前学习到的索引结构在GPU体系结构中的适应性。阅读者总结：这篇论文的核心是将GPU和PGM-index结合起来，总体上更加偏向工程实现，在学习索引的设计上明显地没有看出什么新颖点，当然了GPU是适合并发线程的计算过程，加速查询，但是这学习索引问题本身的解决上 没有什么多的贡献。根据近年来对学习索引的研究，提出了一种将GPU和学习索引的优势相结合的新思路，将学习索引放在GPU内存中，充分利用GPU的高并发和计算能力。...
The Case for Learned Index Structures
01-26
The Case for Learned Index Structures，The Case for Learned Index Structures
Tim karaska-The Case for Learned Index Structures-arXiv整理
park_is_going_to_be_的博客
01-08 1197
【MDM ‘19】Learned Index for Spatial Queries
念诚的备忘录
02-19 618
我们探索了通过学习数据分布（Distribution）来构建空间索引结构的潜力。我们设计了一种新的数据驱动的空间索引结构，即 *Learned Z-order Model*（ZM）索引，它结合了 Z-order 空间填充曲线和多阶段\*（Staged）学习模型。
学习型索引结构---开山之作学习 The Case for Learned Index Structures
want_to_fly_的博客
07-06 2434
构建替代 B 树的替代学习模型的关键挑战之一是最后一英里的准确性。例如，使用单个模型把误差从 100M 减少到几百这个数量级是非常困难的。同时，将误差从 100M 降低到 10K，例如 100 * 100 = 10000 的精度实现起来还简单些，这样就可以用简单模型替换 B-Tree 的前两层。同样的，将误差从 10k 降低到 100 是一个更简单的问题，因为模型只需要关注数据的一个子集。提出递归回归模型(见图3)。
论文笔记 - The Case For Learned Index Structures
weixin_34331102的博客
07-11 614
这篇 paper 的笔记实在是 delay 了好久= =，然而也没有读太细致，就大致浏览了几遍~ paper 地址 ⬇️ The Case For Learned Index Structures Introduction 当我们需要查询数据库中的某条数据时，这数据在数据库中的 index 就是我们想要的答案，数据库对我们的重要性不言而喻。 现有的索引结构中，B+ 树对于范围查询无疑是最佳的，哈希...
Benchmarking Learned Indexes(VLDB2021)
小蚂蚁与大象
06-11 586
最近学习索引结构的进步建议用近似学习模型来替代现有的索引结构，比如b树。在这项工作中，我们提出了一个统一的基准，它将三种已经学习过的索引结构的优化实现与几种最先进的传统基准进行比较。通过使用四个真实的数据集，我们证明了在内存中只读工作负载下，学习索引结构在密集数组上的性能确实优于非学习索引。我们研究了缓存、流水线、数据集大小和密钥大小的影响。我们研究了学习的索引结构的性能，并建立了一个解释为什么学习的模型能取得如此好的性能。最后，我们研究了学习索引结构的其他重要特性，例如它们在多线程系统中的性能和构建时间。
论文阅读——Updatable Learned Index with Precise Positions(VLDB‘21)
qq_42637925的博客
10-24 943
论文阅读——Updatable Learned Index with Precise Positions(VLDB'21)
探索Learned-Indexes：数据索引的新纪元
gitblog_00034的博客
03-31 419
探索Learned-Indexes：数据索引的新纪元 在大数据和高性能计算的时代，数据库性能优化一直是开发者和DBA们关注的重点。传统的B树、哈希等索引方法虽然在许多场景下表现优秀，但随着数据规模的增长和查询复杂性的增加，其效率可能面临挑战。这就是项目的作用所在，它是一种基于机器学习的数据索引技术，旨在提升数据库查询的速度。 项目简介 Learned-Indexes是由开发者yangjufo开源的...
Jeff Dean在2013年斯坦福技术讲座：大数据与计算挑战
首先，Jeff Dean强调了Google在全球范围内拥有众多数据中心的重要性，这些数据中心分布广泛，为处理海量数据提供了基础设施。他着重讲述了Google的计算环境，包括其复杂而高效的架构，如搜索引擎的前端服务，从用户...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值