lucene.search.Weight

最新推荐文章于 2022-03-27 03:01:04 发布
原创 最新推荐文章于 2022-03-27 03:01:04 发布 · 311 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java

本文深入解析了org.apache.lucene.search下的Weight类，阐述了其在Lucene搜索机制中的关键作用，包括查询权重计算、归一化及评分器创建过程。通过理解Weight的工作原理，读者将能更好地掌握Lucene搜索引擎内部实现。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

org.apache.lucene.search 
Class Weight

java.lang.Object
  org.apache.lucene.search.Weight
All Implemented Interfaces:
Serializable
Direct Known Subclasses:
BooleanQuery.BooleanWeight,  ConstantScoreQuery.ConstantWeight,  DisjunctionMaxQuery.DisjunctionMaxWeight,  SpanWeight 
public abstract class Weight
extends Object implements Serializable

Expert: Calculate query weights and build query scorers.

 

The purpose of Weight is to ensure searching does not modify a Query, so that a Query instance can be reused. 
Searcher dependent state of the query should reside in the Weight. 
IndexReader dependent state should reside in the Scorer.

 

A Weight is used in the following way:

  1. A Weight is constructed by a top-level query, given a Searcher (Query.createWeight(Searcher)).
  2. The sumOfSquaredWeights() method is called on the Weight to compute the query normalization factor Similarity.queryNorm(float) of the query clauses contained in the query.
  3. The query normalization factor is passed to normalize(float). At this point the weighting is complete.
  4. A Scorer is constructed by scorer(IndexReader,boolean,boolean).



     
lucene-搜索过程源码解析-Weight树
07-26 2407
IndexSearch全过程源码分析--->生成weight树
Lucene检索源码解析（上）
热门推荐
黄智霖的博客
04-22 1万+
有了Lucene得分公式（戳这里看详情）的基础，我们现在先跳过写索引的步骤，直接解析查询这块儿的代码（还是基于5.5.0）。另外由于内容实在太多，所以文章分为上下两部分介绍，上部分主要介绍实际检索前的一些处理，下部分介绍检索和评分。 一、场景 假设现在已经有多个文档被索引成功，索引目录为：D:\index。我们要对name域（Field）进行查询，代码如下： Path path = Pat...
lucene-搜索过程源码解析-1-Weight生成.txt
07-26
lucene-搜索过程源码解析-1-Weight生成.txt
探究Lucene计算权重的过程
happy19870612's blog
05-14 4509
探究Lucene计算权重的过程 我们知道，影响一个词在一篇文档中的重要性主要有两个因素： 1 term frequency (tf):该词在当前文档出现了多少次，tf越大，说明越重要。 2 document frequency (df):有多少文档包含该term,该词越大说明太普通了，越不重要。 比如solr一词在文档中出现次数很多，说明这篇这篇文档主要是跟solr有关的；
Lucene 查询（Search）
luorufeng的专栏
07-31 391
Lucene  查询（Search）
lucene打分公式
02-27 492
lucene利用余弦相似度进行计算，并进行了改进 coord(q,d):文档d匹配q的词越多，此值越大，在查询的时候计算的，匹配的词/查询的总词数（可能不一样） queryNorm(q):是一个归一化的因子，使得两个分数之间可以比较，默认计算公式如下： tf(tin d):和词频相关，t出现在d中的词数，tf(t in q)是1，因为如果一个查询q包含两个相同的t，在公式中会计算
Lucene4.X实战类baidu搜索的大型文档海量搜索系统-06.Lucene索引搜索 共13页.pptx
最新发布
11-25
- `search(Weight weight, Filter filter, int n, Sort sort)`: 类似上一个方法，但使用Weight对象。 4. **代码示例**： - 创建IndexSearcher实例通常需要一个IndexReader，可以从目录中打开，如`DirectoryReader...
Lucene查询的底层实现IndexSearch（下）
qq_47537678的博客
03-27 865
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可
研究探讨elasticsearch 高cpu问题
weixin_44583135的博客
11-15 1085
首先要阐述一个观点，任何技术都是为解决某一个领域的问题而存在的，我们在使用它的时候，尽可能使用它的优势（亮点），去发挥它应具备的业务价值。es在很多公司应用非常广泛，它已经成为玩大数据的必备的技能，在之前的章节我吐槽过es写方面的问题，今天将吐槽下es查询-terms语法的那些坑，这里探讨两点：一个是多terms并发带来高CPU，另一个是terms使用不当会导致bug。 业务场景 我们基于门店+商品做了一个业务上的大宽表，有各种维度的查询，需要分页，比如按商品的采购组织、采购组、商品的类别（部类-大类-中类
Lucene学习总结之七：Lucene搜索过程解析(4)
forfuture1978的专栏
04-04 189
2.4、搜索查询对象   2.4.1.2、创建Weight对象树 BooleanQuery.createWeight(Searcher) 最终返回return new BooleanWeight(searcher)，BooleanWeight构造函数的具体实现如下：   public BooleanWeight(Searcher searcher) {   this.simila...
Lucene学习总结之七：Lucene搜索过程解析(3)
diebiaosang4496的博客
04-04 201
2.3、QueryParser解析查询语句生成查询对象 代码为： QueryParser parser = new QueryParser(Version.LUCENE_CURRENT, "contents", new StandardAnalyzer(Version.LUCENE_CURRENT)); Query query = parser.parse("+(...
elasticsearch搜索分数自定义以及相关度计算相关
qq_41214487的博客
07-30 5261
elasticsearch搜索分数自定义以及相关度计算相关 一、es通过其score字段对搜索结果进行排序 在进行业务开发时通常其默认的分数计算是不符合预期的。 最简单的方法是通过boost字段来对每一个字段进行权重设置，来体现该字段的重要性。 boost字段会导致分数的计算公式发生改变，boost默认为1 例如： GET productinfo/_search { "_source": ["spuTitle","classifyName"], "query": { "bool": {
Lucene源码(三)：全文检索的底层原理
sgyuanshi的博客
04-13 1247
文章目录IndexSearchersearchAfterCollectorManagersearchcreateNormalizedWeightcreateWeightTermQuerycreateWeightTermWeightTFIDFSimilarityBooleanScorer Lucene源码(一)：分词器的底层原理 Lucene源码(二)：文本相似度TF-IDF原理 IndexRead...
Lucene学习总结之六：Lucene打分公式的数学推导
diebiaosang4496的博客
03-07 287
在进行Lucene的搜索过程解析之前，有必要单独的一张把Lucene score公式的推导，各部分的意义阐述一下。因为Lucene的搜索过程，很重要的一个步骤就是逐步的计算各部分的分数。 Lucene的打分公式非常复杂，如下： 在推导之前，先逐个介绍每部分的意义： t：Term，这里的Term是指包含域信息的Term，也即title:hello和content:hello是不同的T...
C#使用Lucene建索引和搜索代码示例
jxufewbt的专栏
06-02 3762
private void BuildIndex_Category(int index, int len){    try    {                DB = new DBConnect(textBox1.Text.Trim());                string sql = "select * from common_category where COMMON_CAT
关于weight属性使用的一些细节
weixin_30389003的博客
08-29 326
之前被这个属性困扰过好久，今天一个偶然的机会，终于把这个搞清楚了，现在与大家分享一下。 假设我们要在一个LinearLayout布局中显示两个按钮，button1和button2，button2的宽度是button1的二倍，正常情况下使用weight应该是这样的： <LinearLayout xmlns:android="http://schemas.android....
Lucene4.10使用教程(七)：Lucene的自定义评分
七夜之家
01-14 1万+
自定义评分的第一种实现方式，详细内容可以查看代码注释 package com.johnny.lucene04.advance_search.selfScore; import java.io.IOException; import java.text.SimpleDateFormat; import java.util.Date; import org.apache.lucene
lucene.NET详细使用与优化详解
耀的专栏
07-09 258
lucene.NET详细使用与优化详解 1 lucene简介1.1 什么是lucenepowered by 2Lucene是一个全文搜索框架，而不是应用产品。因此它并不像www.baidu.com 或者google Desktop那么拿来就能用，它只是提供了一种工具让你能实现这些产品。1.2 lucene能做什么要回答这个问题，先要了解lucene的本质。实际上lucene的功能很单一，说到底，就是你给它若干个字符串，然后它为你提供一个全文搜索服务，告诉你你要搜索的关键词出现在哪里。知道了这个本质，你就可
使用Lucene框架设计一个会员权重机制
05-26
Lucene 是一个全文搜索引擎框架，它主要用于对文本内容进行索引和搜索，不直接涉及会员权重机制的设计。但是，我们可以借助 Lucene 实现一个基于搜索结果的会员权重机制。 具体实现思路如下： 1. 首先需要在 Lucene 中建立索引，将会员数据以及相应的权重信息添加到索引中。 2. 在用户进行搜索时，根据搜索关键词进行查询，并将查询结果按照相关性排序。 3. 在排序后的结果中，对于每个会员，根据其权重信息进行加权计算，得到最终权重值。 4. 将最终权重值作为该会员在搜索结果中的权重值，可以根据该权重值对搜索结果进行再排序，以提高与用户搜索意图相关的会员排名。 下面是一个简单的示例代码，假设我们有一个会员数据集合 members，包含每个会员的名称和权重信息，我们要根据用户的搜索关键词 query 进行查询，并对搜索结果进行会员权重计算。 ```java import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Document; import org.apache.lucene.document.Field; import org.apache.lucene.document.FloatField; import org.apache.lucene.document.StringField; import org.apache.lucene.index.IndexWriter; import org.apache.lucene.index.IndexWriterConfig; import org.apache.lucene.search.IndexSearcher; import org.apache.lucene.search.Query; import org.apache.lucene.search.ScoreDoc; import org.apache.lucene.search.TopDocs; import org.apache.lucene.search.TotalHits; import org.apache.lucene.search.similarities.ClassicSimilarity; import org.apache.lucene.store.Directory; import org.apache.lucene.store.RAMDirectory; import org.apache.lucene.util.Version; import java.io.IOException; import java.util.ArrayList; import java.util.List; public class MemberSearcher { private static final Version VERSION = Version.LUCENE_8_8_0; private final Directory directory; private final IndexSearcher searcher; public MemberSearcher(List<Member> members) throws IOException { // 创建内存型索引 directory = new RAMDirectory(); // 创建索引写入器 IndexWriterConfig config = new IndexWriterConfig(new StandardAnalyzer()); IndexWriter writer = new IndexWriter(directory, config); // 将会员数据添加到索引中 for (Member member : members) { Document doc = new Document(); doc.add(new StringField("name", member.getName(), Field.Store.YES)); doc.add(new FloatField("weight", member.getWeight(), Field.Store.YES)); writer.addDocument(doc); } writer.close(); // 创建索引搜索器 searcher = new IndexSearcher(directory); searcher.setSimilarity(new ClassicSimilarity()); // 设置相似度计算器 } public List<String> search(String query) throws Exception { List<String> results = new ArrayList<>(); // 创建查询对象 Query q = new QueryParser("name", new StandardAnalyzer()).parse(query); // 执行查询并获取结果 TopDocs docs = searcher.search(q, 10); TotalHits totalHits = docs.totalHits; ScoreDoc[] hits = docs.scoreDocs; // 对搜索结果进行会员权重计算 for (ScoreDoc hit : hits) { Document doc = searcher.doc(hit.doc); float weight = doc.getField("weight").numericValue().floatValue(); float score = hit.score; float finalScore = weight * score; // 计算最终权重值 results.add(doc.get("name") + ": " + finalScore); } return results; } public static void main(String[] args) throws Exception { List<Member> members = new ArrayList<>(); members.add(new Member("Tom", 0.8f)); members.add(new Member("Jerry", 0.7f)); members.add(new Member("Alice", 0.9f)); members.add(new Member("Bob", 0.6f)); MemberSearcher searcher = new MemberSearcher(members); List<String> results = searcher.search("Tom"); for (String result : results) { System.out.println(result); } } private static class Member { private final String name; private final float weight; public Member(String name, float weight) { this.name = name; this.weight = weight; } public String getName() { return name; } public float getWeight() { return weight; } } } ``` 在上面的示例代码中，我们将会员数据集合 members 添加到内存型索引中，并将每个会员的名称和权重信息分别存储为 StringField 和 FloatField 类型的字段。在查询时，我们创建一个 Query 对象，并执行搜索操作，获取搜索结果列表。对于每个搜索结果，我们通过其文档编号获取该会员的权重信息，并计算最终权重值。最后，我们将每个会员的名称和最终权重值拼接成字符串，并存储到结果列表中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值