搜索之路

经典运动估计算法之全搜索、三步搜索、四步搜索、菱形搜索 全搜索、三步搜索、四步搜索、菱形搜索算法 阅读详情

引子

时间回到20年前。 

张大胖学校的图书馆网站上线了,张大胖去浏览了一番,发现竟然没有按照关键字搜索图书的功能,大为吃惊之余,又隐约觉得机会来了: 我刚学完Web开发,其中也有数据库相关的知识,也许我可以实现这个功能啊!

想到此处,张大胖赶紧查找联系方式,抱着试试看的态度给图书馆的管理员发了一封电子邮件,表达了能实现这个搜索功能的信心和决心。 

没想到真的收到回信了,管理员王老师让他在周四的下午2点半到图书馆3楼307聊一聊。 

周四下午,张大胖沐浴更衣以后,如约而至。 经过一番寒暄和介绍,王老师正式进入主题:你打算怎么实现这个全文检索功能啊? 

张大胖说:“我可以用SQL的 Like来实现。”

王老师笑了:“数据量小的时候Like还凑合,数据量一大,效率就非常低了。”

张大胖有点蒙:“那怎么办?”

王老师说:“得用inverted index才行。”

张大胖知道什么是index, 但是从来没有听说过inverted index,这是什么鬼?

王老师看到他迷茫的脸色,就知道这小子虽然勇气可嘉,但是技术还是有所欠缺,鼓励到:“这样吧,你回去研究研究inverted index, 然后再来实现这个全文检索功能。”

Inverted Index

张大胖灰溜溜地回到宿舍,赶紧拨号上网去查这个inverted index。 

张大胖发现有很多人把他翻译成倒排索引,听起来虽然有点古怪,但实际上是一个非常简单的概念。 比如说有两篇文档:

文档1的内容:A computer is a device that can execute operations

文档2的内容:Early computers are big devices

把这两篇文章中的单词都抽取出来,并且记录下这些单词出现在哪个文档中,这就形成了一个简单粗糙的倒排索引。

640?wx_fmt=png

通过这个“倒排索引”,只要给出一个单词,就可以迅速地定位到它在哪个文档中。 用来做全文搜素非常合适。

但是上面的倒排索引有点“粗糙”,还可以在“精化”一下。

1. 对于 a, is , to ,that ,can ,the,are 这些词对搜索来说没什么意义,用户几乎不会用他们搜索,可以过滤掉。  

2.  用户搜索的时候虽然输入了computer,但是也希望搜出computers出来,所以需要把复数单词,过去式单词等做还原。 

3. 用户虽然输入了device , 但是也希望搜索出Device出来,所以需要把大写都改成小写。

经过这番转换,文档1和文档2的关键字变成了这样:

文档1:[computer] [device] [execute] [operation]

文档2:[early] [computer] [big] [device]

相应地,倒排索引变成了这样:

640?wx_fmt=png

当用户想搜索device 的时候,我们就可以告诉它,在文档1和文档2中都有。

为了更好的统计和高亮显示搜索结果,还可以记录关键词在文章中出现的次数和位置(例如:是第几个单词)

640?wx_fmt=png

架构

明白了inverted index是怎么回事儿, 张大胖觉得只要把那些书籍的标题,介绍,作者等信息给提取出来,形成inverted index,不就可以做关键字检索了吗?

可是转眼一想,这个需求应该是个通用的需求,不仅是图书馆有,很多互联网应用,例如网上商城也需要, 我完全可以设计一个类库出来,让大家去使用啊。

张大胖迅速画出一个架构图出来:

640?wx_fmt=png

看看,不管你是什么类型的文档,HTML, PDF, Word,甚至是数据库的数据,只要能从中抽取出文本,就可以当作我的数据源,对文本做了分析以后,就可以存入索引库。 

用户可以发出各种查询,不仅仅是单个关键字,还支持关键字的组合: keyword1 AND keyword2等,对索引库进行搜索以后,把结果返回给用户。 

“中间用虚线框起来的部分就是我应该实现的类库!” 张大胖对这个架构很满意。 

抽象

接下来就要考虑这个类库对外提供的API了,这是个很烦人的事情。 张大胖的脑海中不由地想起来好基友Bill的谆谆教导:“软件设计就是一个不断抽象的过程。”, 关键是要抽象啊! 

可是这个系统似乎有点复杂,张大胖绞尽脑汁想了两天也没有头绪,对于一个刚学会Web开发的同学,立刻就要设计类库,确实是有点勉为其难。 

没办法,张大胖只好致电Bill前来帮忙。 

Bill对张大胖的痛苦表示了亲切的慰问, 又对架构图表示了适度的赞赏。 他说: “既然有HTML,PDF, Word文档, 很自然,你可以做一个Document的抽象!”

“好像不行吧? 如果数据源是数据库,怎么变成Document? ”

“很简单, 比如一行数据就可以映射到一个Document。 当然,这个转化必须得有程序员来完成。程序员决定什么东西是Document。” Bill说。

“Document中有什么东西? ”

“嗯,Document可以有很多属性,每个属性都有名称和值, 我可以把属性叫做Field。比如一个HTML文档,可能有path, title,content等多个Field,其中path可以唯一地标志这个文档, title和content需要做进行分词,形成倒排索引,让用户搜索。” Bill回答。

640?wx_fmt=png

(一个包含多个Field的Document)

“用户创建了Document和Field以后,就可以进行分析了原始的内容划分成一个个Term,” 张大胖开始开窍,“这样,我可以定义一个Analyzer的抽象类,让别的程序可以扩展它。”

“对,分析的结果可以加入索引库,这个操作可以让一个单独的类,比如IndexWriter类来完成。” Bill 说。

“可是IndexWriter如何知道索引应该存在什么地方? 内存? 文件系统?”

“那就再来一个抽象的概念:Directory,表示索引文件的存储。”

张大胖怕忘记,赶紧画类图:

640?wx_fmt=png

“看起来还是挺漂亮的嘛!” 张大胖说。  

“好的设计一般都比较漂亮。” Bill 来了一句至理名言。

“对于对于用户搜索来说,肯定得有个叫做Query的东西,用来表达用户的搜索要求。当然,这个Query也应该允许扩展。 ” 张大胖尝试着抽象。

640?wx_fmt=png

“但是这些类使用起来还是比较麻烦, 最好是支持用户输入字符串来表达搜索的意图:(computer or phone) and price”  Bill还是经验老道,“必须得有个解析器来完成从字符串到Query的转化,然后我们让IndexSearcher 来接收Query,就可以实现搜索的功能了。 ”

640?wx_fmt=png

张大胖很兴奋,一个复杂的系统,就这么被搞定了,虽然其中有很多细节没有覆盖,但大的方向已经确定, 细节在具体的开发中来处理吧。

他摩拳擦掌,准备大干一场,把这个设计给实现了。 

可是Bill在网上搜索了一会儿,泼了一盆冷水:“大胖,好像有个叫做Lucene的开源系统,和我们的设计很像啊,功能更加强大,要不你就用它这个实现吧。”

张大胖赶紧跑到电脑前去看,果然,这个叫Lucene的家伙实现得非常完善,还有很多高级的功能,比如仅仅是“相似度”这个功能,非得对搜索有深入研究才行,自己是望尘莫及。 

他叹了一口气说:“好吧,我去图书馆找王老师,就用这个Lucene吧!”

三年以后

张大胖已经变成了利用Lucene做搜索的高手,各种细节和最佳实践尽在掌握。随着互联网应用的爆炸式增长,搜索变成了一个常见的需求,他甚至在业余时间专门去给人做Lucene的咨询,赚了不少外快。

但是做得多了,张大胖也觉得很烦,这个Lucene用起来实在是太“低级”,很多人向他抱怨: 我就想搜索一下我的商品描述,现在还得理解什么“Directory”,"Analyzer","Query",实在是太复杂了! 还有我们的数据越来越多,索引也越来占的空间也越来越大,怎么才能实现分布式的存储啊? 

这样的抱怨听多了,张大胖心想:是时候对Lucene做一层封装,提供一个简单的API了......

后记:接下来还可以讲一下Elastic Search ,也不知道大家是否感兴趣,再加上这篇文章已经很长了,就停笔了。 如果各位感兴趣的,留言告诉我一下,我会继续写下去。

(完)

码农翻身,用故事讲解技术本质, 更多精彩文章,请移步《码农翻身三年文章精华》

【人工智能】— 深度优先搜索、代价一致搜索、深度有限搜索、迭代深度优先搜索、图搜索 搜索问题是指既不能通过数学建模解决,又没有其他算法可以套用或者非遍历所有情况才能得出正确结果。这时就需要采用搜索算法来解决问题。搜索就是一种通过穷举所有解的状态,来求得题目所要求的解或者最优解的方法。搜索的基本概念:状态:对某一系统在某一时刻的数学描述。动作:从当前时刻状态转移到下一时刻所处状态的操作。状态转移:对某一时刻的状态进行动作后所达到的状态。路径:一个状态序列,该序列被一系列动作所连接。目标测试:评估当前状态是否是所求解的目标状态。 阅读详情

相关推荐

小程序搜索页面搜索记录和热门搜索实现

小程序搜索页面,实现搜索记录清除,点击热门搜索词能输入到搜索框,显示搜索记录 wxml页面 <view class='ctn'> <icon type='search'></icon> <input value='{{input_value}}' bindinput='inputValue' focus='{{name_focus}}'><...

走在秃头的路上的博客 4646

DDOS工具合集

CC著名的DDOS CC工具,效果非常好!CC 2.0使用了和CC 1.0一样的原理但是不同的编程技术CC 2.0的理论连接比CC 1.0 有了几十倍的提高但是在同样连接数的效率上有所降低CC 2.0支持比1.0更多的随机参数+{S|s|N|n|P|p|C|c}{1~9}S:大写英文s:小写英文P|p:密码模式,就是英文数字都有的N|n:数字C|c:中文还增加了一个+L,表示是上一次随机的,比如论

冷风 5万+

微信小程序搜索,搜索历史,清除搜索历史,以及点击搜索历史实现搜索功能

wxml页面 <view class="search-header"> <view class="search-wrap"> <image src="../../images/icon_sous2.png" class="search-icon" bindtap="searchFn"></image> <input bindinput="searchText" value="{{searchValue}}" class="search-inpu

weixin_45334111的博客 2407

一些awesome网站

1、zabbix、ansible、nginx 朱双印个人日志

liuwei0376的专栏 1104

搜索优化、搜索进阶

搜索算法的时间复杂度大多都是指数级的,难以满足对程序时间的限制要求,为使降低时间复杂度,对深度优先搜索可以进行一种优化的基本方法——剪枝。搜索的进程可以看做是从树根出发,遍历一棵搜索树的过程,所谓剪枝,就是通过某些判断,避免一些不必要的遍历过程,形象的说:就是减去搜索树中的某些枝条。如:下图是4个数选3个数的组合的搜索树。所谓双向搜索指的是搜索沿两个方向同时进行:正向搜索:从初始节点向目标结点方向搜索:逆向搜索:从目标结点向初始结点方向搜索:当两个方向的搜索生成同一子结点时终止此搜索过程。

xuxianshun666的博客 1360

直线搜索/一维搜索

直线搜索 在讲解最速下降法的博客中,讲到了使用直线搜索的方法来求解xk+1x_{k+1}(也就是求解步长因子tkt_k),但是并没有讲解什么叫做直线搜索,现在对直线搜索进行补充说明。 直线搜索 定义1:对于问题minϕ(t)min \phi(t)其中ϕ:R1→R1\phi:R^1\rightarrow R^1。求解该一元函数极小值问题的迭代方法我们称为直线搜索或一维搜索。 直线

JasonQ的专栏 3206

sizeof的使用

sizeof- -      sizeof的定义——sizeof的结果等于对象或者类型所占的内存字节数                                 关键字:sizeof,字节对齐,多继承,虚拟继承,成员函数指针前向声明:本来我对SIZEOF()只有一个小小的问题,通读此文,才发现它的博大精深,在此感谢lostinmymind!我把它贴在这里,和朋友们共享

ugvihc的专栏 5278

有信息搜索、最佳优先搜索、贪心搜索、A_搜索详解

最小的边界结点,因此它的等值线是从初始结点以扇形向外扩展的,而一致代价搜索因为只有。搜索等值线的概念更接近于地理上的等高线。如下图所示,在标记为400的等值线内,有。时间复杂度:A*算法对于任何给定的启发函数都是效率最优,但仍然是指数级。评估函数:Evaluation function。空间复杂度:要保存所有结点在内存中。完备性:满足(除非存在无限多个。,因此是以圆形向外扩展的。达到目标状态的真实成本。由于A*搜索扩展的是。

太阳当空照,花儿对我笑,微风轻轻拂,心情无限好。 1470

逻辑回归梯度下降法详解

逻辑回归 logistic regression 之梯度下降法详解 逻辑回归常用于预测疾病发生的概率,例如因变量是是否恶性肿瘤,自变量是肿瘤的大小、位置、硬度、患者性别、年龄、职业等等(很多文章里举了这个例子,但现代医学发达,可以通过病理检查,即获取标本放到显微镜下观察是否恶变来判断);广告界中也常用于预测点击率或者转化率(cvr/ctr),例如因变量是是否点击,自变量是物料的长、宽、广告的位置

空中的鱼 2万+

基于大疆TSDK与Pix4D的热红外数据工程化处理:从RJPG到温度正射影像的完整工作流

本文详细介绍了基于大疆TSDK与Pix4D的热红外数据工程化处理完整工作流。通过Python脚本自动化解析RJPG格式的热红外图像,提取并转换其中的原始辐射数据为包含真实温度信息的TIFF文件,再结合Pix4Dmapper进行批量拼接,最终生成可直接用于GIS分析的温度正射影像图。该流程解决了手动处理效率低下、参数校准复杂等难题,实现了从原始数据到定量分析成果的高效、准确、可重复生产。

weixin_29161785的博客 378

unity 腾讯地图sdk移动和缩放代码

unity 腾讯地图sdk 实现移动端 缩放 和 移动

。。。。。 1283

万能的搜索——深度搜索和广度搜索

搜索分为深度优先搜索(dfs)和广度优先搜索(bfs)先学习深度优先搜索。深度搜素是往深度方向进行搜索的,先选一条路走到底,再选另一条路,用于二维数组和二维字符数组。【题目描述】有一天,小哈一个人去玩迷宫。但是方向感很不好的小哈很快就迷路了。小哼得知后便要去解救无助的小哈。小哼当然是有备而来,已经弄清楚了迷宫的地图,现在小哼要以最快的速度去解救小哈。问题就此开始了…… 迷宫由n行m列的单元格组成(n和m都小于等于50),每个单元格要么是空地(用0表示),要么是障碍物(用1表示)。你的任务是帮助小哼找到一条从

明里灰的博客 9120

Python3.11安装fairseq避坑指南:解决dataclasses兼容性问题(附详细代码修改)

本文详细解析了在Python 3.11环境下安装Fairseq时因dataclasses模块规则变更导致的安装失败问题。通过定位核心配置文件,将`default=SomeConfig()`修改为`default_factory=SomeConfig`,并调整依赖版本,提供了从源码修改到环境验证的完整解决方案,确保Fairseq顺利运行。

weixin_29098367的博客 499

Android通过搜索框架实现搜索功能

Android 搜索框架提供了搜索弹窗和搜索控件两种使用方式。搜索弹窗:系统控制的弹窗,激活后显示在页面顶部,输入的内容提交后会通过Intent传递到指定的搜索Activity中处理,可以添加搜索建议。搜索控件(SearchView):系统实现的搜索控件,可以放在任意位置(可以与Toolbar结合使用),默认情况下与EditText类似,需要自己添加监听处理用户输入的数据,通过配置可以达到与搜索弹窗一致的行为。

m0_56144365的博客 3454

实现单芯片2400bps 音频编解码方案

终于按照朋友的需求,帮他开发了一款单芯片集音频采集编码传送并接收解码播放功能的方案,交给快递公司邮寄给远在郑州的他.整个项目从开始定型到现在一个样机送出,整整花了1个月时间,感觉挺有成就感,挺有意思,工作是辛苦的,结果却是快乐的.现在将这中快乐的的心情与大家分享一下.    真个项目用一颗主控搞定,ARM9的,200KBytes 片内RAM,主频可以跑到300MHz,64pin LQFP封装

nyxsec的专栏 3685

Workbench下列车转向架随机振动疲劳分析

结果中添加功率谱响应工具(Response PSD Tool),可以查看几何体以及远程点上的功率谱密度,如下图11所示,这里查看几何体上某一硬点的加速度功率谱密度响应曲线,如下图12所示。结果中添加疲劳工具(Fatigue Tool),查看列车转向架的疲劳寿命情况,这里采用窄带的寿命假设理论,曝光时间为1s指明计算出的疲劳寿命的基本单位是秒,寿命结果如下图14所示,可以看到最大寿命为1e35s,最小寿命为2.3542e18s,注意单位制,可再次基础上将其转换为小时或天。频域上的统计计算,软件很快计算完成。

ansysxuexizhe的博客 2605

搜索

搜索 基本概念 搜索(search)是各种数据结构中的一种常见运算. 搜索是在给定的数据集合中,寻找符合特定条件的数据,用来搜索的这个特定条件称之为键值. 按数据集合所含数据量的大小来分,搜索可分内部搜索和外部搜索. 当数据量较小,可以直接将它载入内存中进行搜索,称这种搜索为内部搜索. 当数据量较大,无法一次将它载入内存进行搜索, 需要使用辅助存储器来分批次处理,称这种搜索为外部搜索 搜索表:由同一类型数据所组成的集合. 关键字:可唯一标识数据的数据项. 搜索:在搜索表查找关键字值与键值相同的数据. 成

落的博客 1万+

Stable Diffusion 模型分享:Indigo Furry mix(人类与野兽的混合)

Indigo Furry mix 是一个混合模型,出的图具有雄性人类的体型和野兽的形态。条目内容类型大模型基础模型SD 1.5来源CIVITAI作者indigowing文件名称文件大小1.99GB。

水滴的博客 1833

【人工智能】— 有信息搜索、最佳优先搜索、贪心搜索、A*搜索

最小的边界结点,因此它的等值线是从初始结点以扇形向外扩展的,而一致代价搜索因为只有。搜索等值线的概念更接近于地理上的等高线。如下图所示,在标记为400的等值线内,有。时间复杂度:A*算法对于任何给定的启发函数都是效率最优,但仍然是指数级。评估函数:Evaluation function。是可容许的(可采纳的) 如果对于每个节点。空间复杂度:要保存所有结点在内存中。完备性:满足(除非存在无限多个。,因此是以圆形向外扩展的。达到目标状态的真实成本。由于A*搜索扩展的是。

我们都是被分成两半的人,一边热爱生活,一边憎恨生活。面对生活,我们总是在矛盾的两端摇摆,在反复的矛盾和犹豫中,一边踉跄前行,一边重振旗鼓。我渴望改变,渴望变得更好,渴望找到出口……就像一个溺水人的挣扎,就像一个救生圈。我是一个矛盾集合体,想要变得快乐,但是 2503

2025年CSP-J复赛真题及题解:T4 多边形(polygon)

2025年CSP-J复赛真题及题解:T4 多边形(polygon)

王老师青少年编程 1723

VS code 调试显示preLaunchTask“g++“已终止,退出代码为-1。 生成‘... .exe‘文件错误

总结: 以后每个工程都需要按照这样的流程:创建一个.c/.cpp文件 -> F5运行 -> 配置tasks.json文件-> launch.json文件 -> 运行

qq_45151652的博客 2517

Elasticsearch 之(21)前缀搜索、通配符搜索、正则搜索、推荐搜索 和 模糊搜索

1、前缀搜索GET /forum/article/_search { "query": { "prefix": { "articleID": { "value": "KDKE" } } } } {   "took": 52,   "timed_out": false,   "_shards&a

vincent 9491

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

【算法】搜索算法—盲目搜索和启发式搜索

搜索算法 本文主要以一些概念对较为常见的搜索作简单介绍: 一、盲目搜索 对一个图进行搜索意味着按照某种特定的顺序依次访问其顶点。在所有搜索方式中,广度优先算法和深度优先搜索算法都十分重要,因为它们提供了一套系统地访问图数据结构的方法。我们着重讲解广度优先搜索算法。 具体例子可看以下文章: 广度和深度解析 1.深度优先搜索 深度优先搜索算法(简称DFS)是一种用于遍历或搜索树...

从底层爬 8736

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

网站没有搜索功能怎么搜索_如何搜索任何网站,即使它没有搜索功能

网站没有搜索功能怎么搜索You want to find specific information from a given website, but it doesn’t offer search. Or maybe its internal search feature is just plain awful. What can you do? 您想从给定的网站中查找特定信息,但不提供搜索功...

culinxia2707的博客 1万+

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

对抗搜索之【最大最小搜索】【Alpha-Beta剪枝搜索】

  本节这里我们讨论的是确定的、完全可观测、序贯决策、零和游戏下的对抗搜索。   所谓零和博弈是博弈论的一个概念,属非合作博弈。指参与博弈的各方,在严格竞争下,一 方的收益必然意味着另一方的损失,博弈各方的收益和损失相加总和永远为“零”,双方不存在 合作的可能。   对抗搜索(Adversarial Search)一般指的是博弈双方会阻止对方收益最大化,也称为博弈搜索(Game Search)。在...

小小何先生的学习之旅 5830
上一篇: 雕刻在Linux内核中的Linus故事
下一篇: 终于入门:一个渣渣专科的菜鸟,学习编程近一年的感悟
码农翻身
码农翻身 《码农翻身》作者 《码农翻身》作者
博客等级 码龄8年 3万+粉丝 1084原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值