【Similarity Search】Multi-Probe LSH算法深入

Multi-Probe LSH算法详解：步进探测与扰动序列
最新推荐文章于 2022-09-30 10:40:08 发布
最新推荐文章于 2022-09-30 10:40:08 发布
阅读量2.8k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 【Similarity Search】 文章标签： 相似性搜索
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jasonding1354/article/details/44138267
本文深入探讨了Multi-Probe LSH算法，重点介绍了步进式探测方法，用于逐步查找距离查询点近的哈希桶，并分析了成功概率的估计，以及如何构建定向查询探测序列，有效地生成扰动向量，提高相似性搜索效率。

引言

上一小节中，我们初步介绍了Multi-Probe LSH算法的大致思路，为了不显得博客文章太冗杂，所以将这个话题分成几篇文章来写。
在该小节文章中，我将具体介绍一下生成微扰向量序列(a sequence of perturbation vectors)的方法及相关分析。

步进式探测(Step-Wise Probing)

n-step微扰向量Δ有n个非零坐标，根据位置敏感哈希的性质，距离查询q一步远(one step away)的哈希桶要比距离q两步远(two step away)所包含的数据点更加接近q。
这种想法激发了步进式探测方法，首先探测所有相差一步的哈希桶(1-step buckets)，然后再探测所有两步的哈希桶(2-step buckets)，以此类推。

对于LSH索引由L个哈希表和每个哈希表中M个哈希函数而言，
n-step buckets的总数是


所有s-step buckets之内的桶的总数是


最低0.47元/天 解锁文章

新学期VIP享超值加赠
【Similarity Search】Multi-Probe LSH——构建高维相似性搜索的高效索引
Jason Ding的专栏
03-05 5234
摘要 针对高维数据的相似性索引非常适于构建内容相关的检索系统，尤其对于音频、图像、视频等内容丰富的数据。近年来，位置敏感哈希及其变种算法以近似相似性搜索的索引技术被提出，这些方法的一个显著缺点是需要很多的哈希表来保证良好的搜索效果。该文章提出了一个新的索引策略来克服上述缺点，称作多探头LSH。 多探头LSH建立在LSH技术基础上，它可以智能地探测哈希表中可能包含查询结果的多个桶(bucke
Multi-Probe LSH: Efficient Indexing for High-Dimensional Similarity Search
小蚂蚁与大象
09-30 160
理想情况下，我们希望检查成功率最高的桶。与基于信息熵的LSH方法相比，multi-probe LSH方法在达到相同搜索质量的前提下，查询时间更短，所需的哈希表数量减少了5 ~ 8倍。考虑每个哈希函数的q在其插槽中的位置的想法源自Panigrahy对他的基于熵的LSH方案的分析。基于局部敏感哈希的特性，与两步远的桶相比，一步远的桶(即与查询对象的M个哈希值只有一个不同的哈希值)更有可能包含接近查询对象的对象。通过使用多个扰动向量，我们定位了更多的哈希桶，这些桶可能靠近查询对象的桶，并且可能包含q的最近邻居。
Multi-Probe LSH原理分析
Camu7s的专栏
10-09 4856
Multi-Probe LSHMulti-Probe LSH，即多探寻的局部敏感哈希，由Qin Lv、William Josephson、Zhe Wang、Moses Charikar、Kai Li在发表于VLDB 2007中的论文《MultiProbe LSH: Efficient Indexing for HighDimensional Similarity Search》中提出。该方法针对基本
利用Multi-Probe LSH构建ANN高维索引
pitbull的博客
04-23 593
转载于https://www.cnblogs.com/hxsyl/p/4626092.html 一.背景介绍 1.1 相似性搜索简介 高维相似性搜索在音频、图形和传感器数据等特征丰富的数据的基于内容的检索中日益重要，一般来说应用在KNN和ANN。 一个针对相似性搜索的理想索引策略应满足如下特性。 准确性：返回的结果要和BF返回的结果近似，用查全率表示。 时空：查询时间要是o(1)或者o(logn)...
【计算机视觉】OpenCV的最近邻开源库FLANN
Jason Ding的专栏
03-03 1万+
FLANN介绍FLANN库全称是Fast Library for Approximate Nearest Neighbors，它是目前最完整的（近似）最近邻开源库。不但实现了一系列查找算法，还包含了一种自动选取最快算法的机制。flann::Index_类该类模板是最近邻索引类，该类用于抽象不同类型的最近邻搜索的索引。 以下是flann::Index_类的声明：template <typename
opencv4.11中sift图和比较两个图像 python
最新发布
06-15
multi_probe_level=1 ) ``` 3. **并行处理**： ```python from multiprocessing import Pool with Pool() as p: results = p.map(process_image, [img1, img2]) ``` #### 应用场景 1. **图像检索系统**：...
Intelligent Probing for Locality Sensitive Hashing: Multi-Probe LSH and Beyond
小蚂蚁与大象
09-30 69
局部敏感哈希(Locality sensitive hashing, LSH)算法使用随机空间划分和哈希表查找来寻找近似近邻，是一种有理论保证的方法。但是单纯的LSH是不够的，需要大量的哈希表才能达到良好的搜索质量。多探针LSH方法基于panigraphy的思想，引入了智能探测的思想。给定一个查询对象，通过计算相似对象落入每个哈希桶的统计概率，战略性地探测其相邻的哈希桶(以一种查询依赖的方式)。文中回顾了多探针LSH的问题动机、面临的挑战、关键设计考虑，并讨论了该领域的最新进展和有待进一步研究的问题。
LSH算法学习笔记
liwenquan07的博客
04-07 5419
最近在看一篇名叫《Accelerating Community-SearchProble through Faster Graph Dedensification》的论文，里面提到了很多算法如贪婪算法，LSH算法等，这两个都要好好研究一下的，这篇博客是为了学习一下LSH算法。 首先，介绍下什么是LBS。 一、局部敏感哈希LSH 在很多应用领域中，我们面对和需要处理的数据往往是海量并且具有很高
Pandas：多级索引--高维数据
bqw的博客
04-14 7315
import numpy as np import pandas as pd from pandas import Series,DataFrame 一、创建多级索引 data = Series(np.random.randn(10),index=[['x','x','x','x','x','x','y','y','y','y'], ...
局部敏感哈希(Locality-Sensitive Hashing, LSH)方法介绍
热门推荐
10-06 13万+
局部敏感哈希(Locality-Sensitive Hashing, LSH)方法介绍。本文主要介绍一种用于海量高维数据的近似最近邻快速查找技术——局部敏感哈希(Locality-Sensitive Hashing, LSH)，内容包括了LSH的原理、LSH哈希函数集、以及LSH的一些参考资料。
【E2LSH源码分析】p稳定分布LSH算法初探
Jason Ding的专栏
07-29 1万+
对应海明距离的LSH称为位采样算法（bit sampling），该算法是比较得到的哈希值的海明距离，但是一般距离都是用欧式距离进行度量的，将欧式距离映射到海明空间再比较其的海明距离比较麻烦。于是，研究者提出了基于p-稳定分布的位置敏感哈希算法，可以直接处理欧式距离，并解决(R,c)-近邻问题。
【E2LSH源码分析】LSH算法框架分析
Jason Ding的专栏
07-28 8116
最近邻问题（nearest neighbor problem）可以定义如下：给定n个对象的集合并建立一个数据结构，当给定任意的要查询对象时，该数据结构返回针对查询对象的最相似的数据集对象。LSH的基本思想是利用多个哈希函数把高维空间中的向量映射到低维空间，利用低维空间的编码来表示高维向量。通过对向量对象进行多次哈希映射，高维向量按照其分布以及自身的特性落入不同哈希表的不同桶中。在理想情况下可以认为在高维空间中位置比较接近的向量对象有很大的概率最终落入同一个桶中，而距离比较远的对象则以很大的概率落入不同的桶中
【E2LSH源码分析】E2LSH源码综述及主要数据结构
Jason Ding的专栏
08-01 4433
E2LSH的核心代码可以分为3部分： LocalitySensitiveHashing.cpp——主要包含基于LSH的RNN(R-near neighbor)数据结构。其主要功能是根据参数构建数据结构进行查询数据对象的功能； BucketHashing.cpp——主要包含对于哈希桶的普通哈希表。其主要功能是构建哈希表，添加哈希桶到表中和查询哈希桶； SelfTuning.cpp——包含计算RNN数据结构最佳参数的函数。
【E2LSH源码分析】E2LSH函数接口
Jason Ding的专栏
08-04 3712
上一小节，我们对E2LSH代码主要的源码框架和用到的数据结构作了简单介绍（http://blog.youkuaiyun.com/jasonding1354/article/details/38331229），这一节我将简单介绍一下E2LSH的主要函数接口。
典型位置敏感哈希的相似性搜索的研究
Jason Ding的专栏
06-25 2146
本文就Locality Sensitive Hashing的典型算法及变型做一概述说明
multi-scale structural similarity是什么
07-11
multi-scale structural similarity（多尺度结构相似性）是一种用于图像质量评价的指标，用于比较两幅图像的结构相似性。它基于结构信息的比较，可以捕捉到图像中的结构变化和细节信息。 该指标通过比较两幅图像在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值