搜索
双人余先生
10年JAVA搜索经验与大家分享学习。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Elasticsearch基础整理 脑图
Elasticsearch知识整理,基于ES6.7.1 主要涉及ES集群各模块功能及使用说明,集群选举流程 读取/写入流程等等,不涉及dsl等具体操作,后面会持续更新! 需要完整文件 到我 公众号 ‘Lucene Elasticsearch 工作积累’ 回复 ‘es基础’ 就可以了! 如果喜欢搜索技术请来我的公众号吧 ‘Lucene Elasticsearch 工作积累’ 每天会持续更新搜索相关技术 以下是脑图中的具体内存大纲。 集群节点角色 主节点 Master node ) 维护集群状态。集群状原创 2020-09-11 10:50:44 · 1347 阅读 · 0 评论 -
JAVA基础知识整理 2020
最近在复习JAVA基础知识,整理了脑图 分享出来,内容包括了 JVM、并发编程、容器、问题总结、数据结构、github使用,有时间还会持续更新,大家可以一起学习! 需要完整文件 到我 公众号 ‘Lucene Elasticsearch 工作积累’ 回复 ‘java基础’ 就可以了! 如果喜欢搜索技术请来我的公众号吧 ‘Lucene Elasticsearch 工作积累’ 每天会持续更新搜索相关技术 ...原创 2020-09-09 11:15:53 · 211 阅读 · 0 评论 -
IK分词器输出多类型词源
背景: IK分词器分为两种,粗粒度分词和细粒度分词,粗粒度会分为长词,细粒度分出的词比较多,会分出与词库中所有可匹配的词,现在我们想要这样的分词效果如: 关键词:“北京青年路” 粗粒度会分出: 细粒度会分出: 那么我们需要只分出整词、去掉包含词、相同词不去重 如下: 1、歧义词处理 这个功能实际上是用到了IK的歧义词处理,为什么粗粒度不展示包含词和重复词了?是因为做了歧义词过滤,过程如下: 在IKAegmennter.java的next方法中进行歧义词处理 歧义词处理分了两块,功能是一样的,只是处理原创 2020-08-30 17:43:46 · 432 阅读 · 0 评论 -
搜索补数(补充数据结果)优化
背景: 有没有遇到某条件下搜索结果变少,多个搜索条件组合后结果变少或无结果的显现,这种问题怎么办?相信你们产品应该有很多种补充或删减搜索条件的逻辑,今天简单介绍下,我在搜索结果少的条件下做的一系列操作吧! 1、观察现状 分析一周搜索日志,分析每日搜索结果数的占比情况,对搜索结果数的分布有大概了解,Top100搜索结果分布如下图: 从这个分布来看只有10个结果的搜索占了大头,再看一下,目前搜索补数策略的搜索结果数占比,依然是10个以内结果占大头,看来是要优化一下了,那么接下来分析下都是那些搜索条件引起的。原创 2020-08-29 23:48:34 · 454 阅读 · 0 评论 -
Lucece评分公式相关性实践(下)
背景: ES5及后面版本使用的Lucene6.2,所以默认使用的BM25评分公式,我们实践一下,看看BM25公式对打分的影响。 1、BM25配置实验 1)准备索引 建立mapping, 使用IK分词器 测试也可以用空格分词器, 建立一个shard为了结果统一好看一些,因为评分是在Lucene中进行的,所以多个shard的IDF和字段平均长度 不是全局的,每个shard中的Index值是不一至。 设置默认和自定义两个评分器,分别配置到text和title中。 { "settings": { "nu原创 2020-08-20 23:30:50 · 1362 阅读 · 0 评论 -
Lucece评分公式OKapi BM25原理解析(中)
背景: 也不写什么背景了延续上篇写了TF/IDF的公式解析,本篇为BM25解析简单介绍。 BM25起源于 概率相关性模型,而不是矢量空间模型,但是该算法与Lucene的实际评分功能有很多共同点。 两者都使用Term词频率,逆文档频率和字段长度归一化,但是每个因素的定义都略有不同。与其详细解释BM25公式,不如将重点放在BM25提供的实际优势上。 BM25是一个词袋检索功能,它基于每个文档中出现的查询词对一组文档进行排名,而不管它们在文档中的距离如何。它是一组评分功能,其组件和参数略有不同。该函数最突出的实例原创 2020-08-15 23:49:24 · 862 阅读 · 0 评论 -
Lucece评分公式TF/IDF 原理解析(上)
背影:原创 2020-08-11 23:12:43 · 974 阅读 · 0 评论 -
ABTest实验系统在搜索简单实践
背景: 1、当我们要上一个排序策略,只有这个排序的优化方向,离线指标都是正向的,那么我们有勇气替换掉目前的排序吗? 2、同一个功能点 有两种召回策略 离线评估都不错 上哪个留哪个? 3、调整产品广告位或不同活动位在搜索列表中出现的位置,用对哪种方式是无感可接受的? 等一系列线下只有方向但不能确定的事,我们可以把这类问题交给用户来让他们帮我们做正向的引导,前提是小流量不伤害用户为前提,实现 衡量 - 发现 - 迭代 - 验证 的过程,那么就有了ABTest。 1、ABTest架构 1)ABTest服务,用于读原创 2020-08-08 18:09:13 · 1187 阅读 · 0 评论 -
Elasticsearch RequestCache和Fielddata Cache
背影: 上篇分析了QueryCache,再把RequestCache也分析一下吧。 1、RequestCache参与Cache条件 从源码上看RequestCache默认是开启的,只对size=0的查询进行Cache,那么就需要在查询时加入参数"size": 0, 但这样会缓存命中总数,aggregations, suggestions。 2、RequestCache配置 1)index.requests.cache.enable 默认为true,启动RequestCache配置。 2)indices.r原创 2020-08-03 13:40:28 · 624 阅读 · 0 评论 -
ElasticSearch Node QueryCache 原理分析
背景: 最近要重启在集群更新些功能和插件,所以整理下集群不合理的配置一起改了,无意间发现一个Index 的 Cache命中居然为0,以为是限制了,查看配置都正常,看来得查查问题出在哪了,以下是查找原因过程和关于QueryCache的整理。 1、ES QueryCache Elasticsearch 包含三个类型的读缓冲,分别为 Node Query Cache 、 Shard Request Cache 、 Fielddata Cache。 本篇文章只介绍Node Query Cache,其它两个Cach原创 2020-08-02 14:39:15 · 742 阅读 · 0 评论 -
检索组合Query
背景: 默认使用es做检索服务时 只是针对某个字段做检索,传入关键词调用检索服务,检索过程中ES分词部分我们无法控制细节和逻辑,从而影响检索效果,以下我给出简单策略供同学们扩展自己业务的思路。 ES使用IK分词,支持 ik_smart/ik_max_word两种分词方式, 在建立索引时使用ik_max_word最细粒度分词,原因是分尽量多的term增加召回匹配文档量, 在检索时使用ik_smart粗粒度分词,原因是减少term增加检索速度和召回的准确性,配置可以在mapping中使用"search_anal原创 2020-07-30 17:23:57 · 257 阅读 · 0 评论 -
es-head安全登陆问题
在观察索引时一般习惯用es-head,如果你的运维加了安全限制你该怎么办? 1、ES安全主要是加xpack,这个需要我们在使用访问es-head:9100后面加base_uri=&auth_user&auth_password就可以了 这个信息被es-head打开时就会读取并发送给ES做安全验证。 <html> <head> <meta charset="UTF-8"> <title>elasticsearch-head</ti原创 2020-07-29 16:54:51 · 1116 阅读 · 0 评论 -
Lucene TaxonoFacet原理
1、Facet索引第二种方式采用Taxono索引帮助实现。fullpathfull_pathfullpath 1)在建立索引时,可以设置FacetsConfig的setindexFieldName(FieldName, FieldName别名),可以通过这种方式只统计单一Field数据个数。 2)在检索统计时建立FastTaxonomyFacetCounts时就可以使用别名了。 实现原理: 当建立索引基础时没有设置FacetsConfig别名时,在基础索引中建立FieldName名为$facets的字段名原创 2020-07-26 14:41:56 · 247 阅读 · 0 评论 -
Elasticsearch扩展IK分词器
背景: Ik分词器支持默认分词器,可以扩展分词词典,但想扩展一个分词器类型就需要个性IK源码了,扩展后的分词器与原生分词器可混用,也可单独使用。 下面简单介绍下修改过程同大家分享共同学习。 过程: 1、克隆IK源码并测试IK插件 1)克隆地址:https://github.com/medcl/elasticsearch-analysis-ik 要根据你目前使用的es版本找到合适IK的版本,版本选择: 2)这里面有个坑如你的ES是6.7.1,IK克隆的也是6.7.1当编译好后,发现报IK插件与ES版本不一至原创 2020-07-26 13:50:31 · 432 阅读 · 0 评论 -
es部分监控命令
原文地址: 首先确定当前节点是什么角色?是不是数据节点 GET /_cat/nodes?h=name,node.role 集群级别的设置 GET /_cluster/settings?include_defaults=true 索引级别的设置 GET indexName/_settings?include_defaults=true 4.查看集群运行中的任务 http://172.23.10.124:9201/_tasks 还可以使用 actions=*search&detail原创 2020-07-22 19:39:37 · 453 阅读 · 0 评论 -
支持打印Lucene5数字域Query
Lucene5 在打印数字Query时 Query.toString是不支持的 只会打印出类信息, 所以在原源基础上做了修改可打印数据域。 代码如下: package searcher; import java.util.HashSet; import java.util.Set; import org.apache.lucene.index.Term; import org.apache.lucene.search.BooleanClause; import org.apache.lucene.sea原创 2020-07-22 14:23:58 · 208 阅读 · 0 评论 -
Lucene IndexSearch方法解释
Lucene IndexSearch方法解释 // 获取field的统计集合包括maxDoc,docCount,sumDocFreq等。 searcher.collectionStatistics(field); // 通过query创建一个Weight对像。 searcher.createNormalizedWeight(query); // 通过索引ID获取Document searcher.doc(docID); // 调用indexreader.document方法。指定Doc的FieldType读原创 2020-07-22 14:19:02 · 521 阅读 · 0 评论
分享