Jeff Dean的Learned Index为数据库索引带来了哪些启发1

最新推荐文章于 2025-06-10 15:41:16 发布
原创 最新推荐文章于 2025-06-10 15:41:16 发布 · 2.6k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#索引技术

Learned Index是一种利用机器学习优化传统数据库索引的技术，通过掌握数据分布特性，改进B-Tree Index，实现更快的查询速度和更高的存储效率。在测试中，相对于B-Tree，Learned Index的RM-Index模型性能提升60%~70%，存储空间节省高达99%。这种递归模型考虑了全局数据分布，并通过有限步迭代定位数据，降低了错误率。

这篇论文在两个月前刚被公布出来的时候，因为带着Jeff Dean的署名曾一度被热传，但直到今天才认真读完这篇论文。Learned Index基于机器学习的方法，对传统数据库索引做了改造。本文先介绍Learned Index的RM-Index模型以及与B-Tree索引的对比。


如论文开篇所言，可以将传统的数据库索引(Index)视为一种模型(Model)：

  • B-Tree索引B-Tree索引模型将一个Key映射到一个排序数组中的某位置所对应的记录
  • Hash索引Hash索引模型将一个Key映射到一个无序数组中的某位置所对应的记录
  • Bitmap索引Bitmap索引模型用来判断一条记录是否存在
最低0.47元/天 解锁文章
b+树，learning index
11-29
## A C++11 implementation of the B-Tree part of "The Case for Learned Index Structures" A research **proof of concept** that implements the B-Tree section of [The Case for Learned Index Structures](https://arxiv.org/pdf/1712.01208.pdf) paper in C++. The general design is to have a single lookup structure that you can parameterize with a KeyType and a ValueType, and an overflow list that keeps new inserts until you retrain. There is a value in the constructor of the RMI that triggers a retrain when the overflow array reaches a certain size. The basic API: ```c++ // [first/second]StageParams are network parameters int maxAllowedError = 256; int maxBufferBeforeRetrain = 10001; auto modelIndex = RecursiveModelIndex recursiveModelIndex(firstStageParams, secondStageParams, maxAllowedError, maxBufferBeforeRetrain); for (int ii = 0; ii < 10000; ++ii) { modelIndex.insert(ii, ii * 2); } // Since we still have one more insert before retraining, retrain before searching... modelIndex.train(); auto result = modelIndex.find(5); if (result) { std::cout << "Yay! We got: " << result.get().first << ", " << result.get().second << std::endl; } else { std::cout << "Value not found." << std::endl; // This shouldn't happen in the above usage... } ``` See [src/main.cpp](src/main.cpp) for a usage example where it stores scaled log normal data. ### Dependencies - [nn_cpp](https://github.com/bcaine/nn_cpp) - Eigen based minimalistic C++ Neural Network library - [cpp-btree](https://code.google.com/archive/p/cpp-btree/) - A fast C++ implementation of a B+ Tree ### TODO: - Lots of code cleanup - Profiling of where the slowdowns are. On small tests, the cpp_btree lib beats it by 10-100x - Eigen::TensorFixed in nn_cpp would definitel
The tail at scale by jeff dean
07-18
在大规模服务系统设计领域，Jeff Dean的名字是如雷贯耳的存在，作为Google技术的高级副总裁，他不仅在分布式系统和大规模计算领域有着深厚的研究，而且亲自参与了多个重要系统的构建，其中包括Google的搜索引擎、大...
Jeff Dean的Learned Index为数据库索引带来了哪些启发2
nosqlnotes的博客
03-09 1990
本文继续讨论Recursive Model Index(RM-Index)索引更新涉及的相关问题，以及Learned Index对Hash索引以及Bloom Filter索引如何进行改造来降低索引占用空间。RM-Index索引的更新上篇文章中关于RM-Index的设计以及与B-Tree索引的对比测试结果，主要针对只读场景的内存型数据库系统，也可以应用于更新频率较低的数据仓库系统中，对于Bigtab...
Learned Index: A Comprehensive Experimental Evaluation
小蚂蚁与大象
04-30 303
为了解决这些问题，本文详细回顾了现有的学习索引，并讨论了学习索引中关键组件的设计选择，包括键查找(预测键位置的位置推断，如果预测的位置不正确则重新搜索位置的位置优化)，键插入，并发和批量加载。然而，像XIndex和FINEdex这样的学习索引获得了较大的索引大小和较高的插入/查找延迟，因为它们使用额外的空间(例如，对级缓冲区)来支持并发操作，这可能会减慢插入/查找操作，因为搜索同时涉及索引和缓冲区。此外，对于高度倾斜的插入数据，学习索引的插入性能下降很大，而传统索引的插入性能更稳定。
学习型索引结构---开山之作学习 The Case for Learned Index Structures
want_to_fly_的博客
07-06 2433
构建替代 B 树的替代学习模型的关键挑战之一是最后一英里的准确性。例如，使用单个模型把误差从 100M 减少到几百这个数量级是非常困难的。同时，将误差从 100M 降低到 10K，例如 100 * 100 = 10000 的精度实现起来还简单些，这样就可以用简单模型替换 B-Tree 的前两层。同样的，将误差从 10k 降低到 100 是一个更简单的问题，因为模型只需要关注数据的一个子集。提出递归回归模型(见图3)。
Learned Index on GPU（ICDE2022）
小蚂蚁与大象
08-03 426
3) GPU具有层次化的存储空间和独特的高效访存方式，因此需要考虑当前学习到的索引结构在GPU体系结构中的适应性。阅读者总结：这篇论文的核心是将GPU和PGM-index结合起来，总体上更加偏向工程实现，在学习索引的设计上明显地没有看出什么新颖点，当然了GPU是适合并发线程的计算过程，加速查询，但是这学习索引问题本身的解决上 没有什么多的贡献。根据近年来对学习索引的研究，提出了一种将GPU和学习索引的优势相结合的新思路，将学习索引放在GPU内存中，充分利用GPU的高并发和计算能力。...
时序数据库的索引策略：如何加速时间范围查询
最新发布
AI天才研究院
06-10 1188
时序数据（Time Series Data）以时间戳为核心维度，具有高频写入、时间有序、时间范围查询主导的特征。本文从第一性原理出发，系统解析时序数据库索引策略的底层逻辑，构建「时间索引-标签索引-值索引」三维索引框架，覆盖理论推导、架构设计、实现优化及工程实践全链路。
Jeff Dean：Numbers Everyone Should Know
热门推荐
AI天才研究院
05-20 2万+
"Numbers Everyone Should Know" from Jeff Dean. Slides #1, Slides #2 (which are different)Where
【MDM ‘19】Learned Index for Spatial Queries
念诚的备忘录
02-19 618
我们探索了通过学习数据分布（Distribution）来构建空间索引结构的潜力。我们设计了一种新的数据驱动的空间索引结构，即 *Learned Z-order Model*（ZM）索引，它结合了 Z-order 空间填充曲线和多阶段\*（Staged）学习模型。
学习型索引库 - Learned Indexes 实践指南
gitblog_00393的博客
08-24 726
学习型索引库 - Learned Indexes 实践指南 项目介绍 Learned Indexes 是一个由 Yangjufo 开发的开源项目，它颠覆了传统数据库索引的设计思路，利用机器学习模型来构建索引结构。这一创新理念旨在提高数据访问效率，减少存储开销，并优化查询性能。通过将复杂的数据访问模式映射到机器学习预测模型上，Learned Indexes 能够根据数据分布特性定制化索引，从而在某些...
The Case for Learned Index Structures
01-26
The Case for Learned Index Structures，The Case for Learned Index Structures
经典 Learned Index 结构设计及其应用
Andy
04-26 2397
其整体的思想是保留了 B+树的内部节点（作为导航），把叶子节点替换成学习模型，不存储实际数据，而是存储学习模型的参数。更多的工作是在如何组织这些训练出来的线性模型下功夫，抑或是将已有结构稍作变化或不做变化，应用在某个场景下，在查询性能或存储开销取得了优良的性能。PGM 的基本节点单元使用 Linear Model，采用 Bottom-Up 的构建方式，上一层对下一层的代表数据（每个 Segment 的起始点）递归地使用线性回归来构建索引树，其插入采用了类似 LSM 层次合并的思想来设计。
来给博客除草了：Learned Indexes for a Google-scale Disk-based Database
Andy
01-18 1312
论文研读：Google规模的基于磁盘的数据库的学习索引
论文阅读——Updatable Learned Index with Precise Positions(VLDB‘21)
qq_42637925的博客
10-24 942
论文阅读——Updatable Learned Index with Precise Positions(VLDB'21)
论文笔记 - The Case For Learned Index Structures
weixin_34331102的博客
07-11 614
这篇 paper 的笔记实在是 delay 了好久= =，然而也没有读太细致，就大致浏览了几遍~ paper 地址 ⬇️ The Case For Learned Index Structures Introduction 当我们需要查询数据库中的某条数据时，这数据在数据库中的 index 就是我们想要的答案，数据库对我们的重要性不言而喻。 现有的索引结构中，B+ 树对于范围查询无疑是最佳的，哈希...
Indices Matter: Learning to Index for Deep Image Matting
weixin_45193950的博客
10-28 1611
目录segmentation和mattingimage segmentationimage matting比较 会议：ICCV-2019 论文：Indices Matter: Learning to Index for Deep Image Matting 官方Codes： https://github.com/poppinace/indexnet_matting 数据集：Adobe Image Matting Dataset，alphamatting.com segmentation和matting im
Tim karaska-The Case for Learned Index Structures-arXiv整理
park_is_going_to_be_的博客
01-08 1197
机器学习如何影响系统设计：Learned Index Structures浅析
内核工匠
03-19 1846
从刷脸打卡到各种应用的“猜你喜欢”，当前机器学习（特别是深度学习技术）已经广泛应用于我们日常生活的方方面面。深度学习框架（如：TensorFlow，PyTorch等）和 AI专用芯片（如：...
Jeff Dean在2013年斯坦福技术讲座：大数据与计算挑战
首先，Jeff Dean强调了Google在全球范围内拥有众多数据中心的重要性，这些数据中心分布广泛，为处理海量数据提供了基础设施。他着重讲述了Google的计算环境，包括其复杂而高效的架构，如搜索引擎的前端服务，从用户...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值