Lucene是什么？

最新推荐文章于 2024-11-07 20:06:43 发布
转载 最新推荐文章于 2024-11-07 20:06:43 发布 · 837 阅读 · 0
文章标签：

#java #lucene #搜索引擎 #全文检索 #数据分析

Lucene是什么？

Lucene是Apache组织的一个用Java实现全文搜索引擎的开源项目。后来有人将Lucene移植到。Net语言。

Lucene是一个信息检索的函数库(Library)，利用它你可以为你的应用加上索引和搜索的功能。

Lucene的使用者不需要深入了解有关全文检索的知识，仅仅学会使用库中的一个类，你就为你的应用实现全文检索的功能。

不过千万别以为Lucene是一个象google那样的搜索引擎，Lucene甚至不是一个应用程序，它仅仅是一个工具，一个Library。你也可以把它理解为一个将索引、搜索功能封装的很好的一套简单易用的API。利用这套API你可以做很多有关搜索的事情，而且很方便。      

 

Lucene能做什么？

Lucene可以对任何的数据做索引和搜索。 Lucene不管数据源是什么格式，只要它能被转化为文字的形式，就可以被Lucene所分析利用。也就是说不管是MS word， Html ，pdf还是其他什么形式的文件只要你可以从中抽取出文字形式的内容就可以被Lucene所用。你就可以用Lucene对它们进行索引以及搜索。

 

 

如何使用Lucene

示例介绍

1.为作为输入参数的文件夹下的所有txt类型的文件做索引，做好的索引文件放入index文件夹。

2.然后在索引的基础上对文件进行全文搜索。

1. 建立索引

IndexWriter writer = new IndexWriter("index",new StandardAnalyzer(),true);  

Document doc = new Document(); 

doc.Add(new Field(“city”, ”上海”,Field.Store.YES, Field.Index.TOKENIZED));

doc.Add(new Field(“shopname”,”东北菜”,Field.Store.YES,Field.Index.TOKENIZED));

writer.AddDocument(doc);

doc = new Document(); 

doc.Add(new Field(“city”, ”北京”,Field.Store.YES, Field.Index.TOKENIZED));

doc.Add(new Field(“shopname”,”东北菜菜馆”,Field.Store.YES,Field.Index.TOKENIZED));

writer.AddDocument(doc);

writer.SetUseCompoundFile(true);

writer.Optimize();

writer.Close();

 

2. 对索引进行搜索

IndexSearcher indexSearcher= new IndexSearcher(indexDir);

QueryParser parser = new QueryParser("shopname", new StandardAnalyzer());

Query query = parser.Parse(“东北”);

Hits hits = indexSearcher.Search(query);

Document doc;

For (int i = 0 ; i < hits.length();i++)

{

   doc = hits.Doc(i);

   doc.Get(“shopname”).ToString()

}

 

这样就实现了简单的全文搜索了。

 

 

Lucene的包结构

Lucene源码中共包括7个子包，每个包完成特定的功能：  

Lucene包结构功能表

包名

功能

Lucene.NET.Analysis

语言分析器，主要用于的切词，可以扩展此类以支持多种语言

Lucene.net.Document

索引存储时的文档结构管理，类似于关系型数据库的表结构

Lucene.Net.Index

索引管理，包括索引建立、删除等

Lucene.Net.QueryParser

查询分析器，实现查询关键词间的运算，如与、或、非等

Lucene.Net.Search

检索管理，根据查询条件，检索得到结果

Lucene.Net.Store

数据存储管理，主要包括一些底层的I/O操作

Lucene.Net.Util

一些公用类

 

建立索引时最重要的几个概念

Document：一个要进行索引的单元，相当于数据库的一行纪录，任何想要被索引的数据，都必须转化为Document对象存放。

Field：Document中的一个字段，相当于数据库中的Column。

IndexWriter：负责将Document写入索引文件。通常情况下,IndexWriter的构造函数包括了以下3个参数：索引存放的路径,分析器和是否重新创建索引。特别注意的一点，当IndexWriter执行完addDocument方法后，一定要记得调用自身的close方法来关闭它。只有在调用了close方法后，索引器才会将存放在内在中的所有内容写入磁盘并关闭输出流。

Analyzer：分析器，主要用于文本分词。常用的有StandardAnalyzer分析器，StopAnalyzer分析器，WhitespaceAnalyzer分析器等。

Directory：索引存放的位置。Lucene提供了两种索引存放的位置，一种是磁盘，一种是内存。一般情况将索引放在磁盘上；相应地Lucene提供了FSDirectory和RAMDirectory两个类。

Segment：段，是Lucene索引文件的最基本的一个单位。Lucene说到底就是不断加入新的Segment，然后按一定的规则算法合并不同的Segment以合成新的Segment。

 

Lucene建立索引的过程就是将待索引的对象转化为Lucene的Document对象，使用IndexWriter将其写入Lucene 自定义格式的索引文件中。待索引的对象可以来自文件、数据库等任意途径，用户自行编码遍历目录读取文件或者查询数据库表取得ResultSet，Lucene的API只负责和字符串打交道。

 

 

Field对象

从Lucene的源代码中，可以看出Field 典型构造函数如下：

Field(String name, String value, Field.Store store, Field.Index index)

其中：

Field.Index有四种属性，分别是：

Field.Index.TOKENIZED：分词索引

Field.Index.UN_TOKENIZED：不分词进行索引，如作者名，日期等，不再需要分词。

Field.Index.NO：不进行索引，存放不能被搜索的内容如文档的一些附加属性如文档类型, URL等。

Field.Index.NO_NORMS：不分词,建索引.但是Field的值不像通常那样被保存，而是只取一个byte，这样节约存储空间。

Field.Store也有三个属性，分别是：

Field.Store.YES：索引文件本来只存储索引数据, 此设计将原文内容直接也存储在索引文件中，如文档的标题。

Field.Store.NO：原文不存储在索引文件中，搜索结果命中后，再根据其他附加属性如文件的Path，数据库的主键等，重新连接打开原文，适合原文内容较大的情况。

          Field.Store.COMPRESS 压缩存储。

Lucene的基本原理和代码分析:

其中总体架构和索引文件格式是Lucene 2.9的，索引过程分析是Lucene 3.0的。

鉴于索引文件格式没有太大变化，因而原文没有更新，原理和架构的文章中引用了前辈的一些图，可能属于早期的Lucene，但不影响对原理和架构的理解。

本系列文章尚在撰写之中，将会有分词器，段合并，QueryParser，查询语句与查询对象，搜索过程，打分公式的推导等章节。

提前给大家分享，希望大家批评指正。 

 

Lucene学习总结之一：全文检索的基本原理

http://www.cnblogs.com/forfuture1978/archive/2009/12/14/1623594.html

Lucene学习总结之二：Lucene的总体架构

http://www.cnblogs.com/forfuture1978/archive/2009/12/14/1623596.html 

Lucene学习总结之三：Lucene的索引文件格式(1)

http://www.cnblogs.com/forfuture1978/archive/2009/12/14/1623597.html

Lucene学习总结之三：Lucene的索引文件格式(2)

http://www.cnblogs.com/forfuture1978/archive/2009/12/14/1623599.html

Lucene学习总结之三：Lucene的索引文件格式(3)

http://www.cnblogs.com/forfuture1978/archive/2010/02/02/1661436.html

Lucene学习总结之四：Lucene索引过程分析(1)

http://www.cnblogs.com/forfuture1978/archive/2010/02/02/1661439.html

Lucene学习总结之四：Lucene索引过程分析(2)

http://www.cnblogs.com/forfuture1978/archive/2010/02/02/1661440.html

Lucene学习总结之四：Lucene索引过程分析(3)

http://www.cnblogs.com/forfuture1978/archive/2010/02/02/1661441.html

Lucene学习总结之四：Lucene索引过程分析(4) 

http://www.cnblogs.com/forfuture1978/archive/2010/02/02/1661442.html 

 

本系列文章已在javaeye制作成电子书，可提供下载，谢谢关注。
http://forfuture1978.javaeye.com/blog/pdf 

Lucene是什么？

Lucene是Apache组织的一个用Java实现全文搜索引擎的开源项目。后来有人将Lucene移植到。Net语言。

Lucene是一个信息检索的函数库(Library)，利用它你可以为你的应用加上索引和搜索的功能。

Lucene的使用者不需要深入了解有关全文检索的知识，仅仅学会使用库中的一个类，你就为你的应用实现全文检索的功能。

不过千万别以为Lucene是一个象google那样的搜索引擎，Lucene甚至不是一个应用程序，它仅仅是一个工具，一个Library。你也可以把它理解为一个将索引、搜索功能封装的很好的一套简单易用的API。利用这套API你可以做很多有关搜索的事情，而且很方便。      

 

Lucene能做什么？

Lucene可以对任何的数据做索引和搜索。 Lucene不管数据源是什么格式，只要它能被转化为文字的形式，就可以被Lucene所分析利用。也就是说不管是MS word， Html ，pdf还是其他什么形式的文件只要你可以从中抽取出文字形式的内容就可以被Lucene所用。你就可以用Lucene对它们进行索引以及搜索。

 

 

如何使用Lucene

示例介绍

1.为作为输入参数的文件夹下的所有txt类型的文件做索引，做好的索引文件放入index文件夹。

2.然后在索引的基础上对文件进行全文搜索。

1. 建立索引

IndexWriter writer = new IndexWriter("index",new StandardAnalyzer(),true);  

Document doc = new Document(); 

doc.Add(new Field(“city”, ”上海”,Field.Store.YES, Field.Index.TOKENIZED));

doc.Add(new Field(“shopname”,”东北菜”,Field.Store.YES,Field.Index.TOKENIZED));

writer.AddDocument(doc);

doc = new Document(); 

doc.Add(new Field(“city”, ”北京”,Field.Store.YES, Field.Index.TOKENIZED));

doc.Add(new Field(“shopname”,”东北菜菜馆”,Field.Store.YES,Field.Index.TOKENIZED));

writer.AddDocument(doc);

writer.SetUseCompoundFile(true);

writer.Optimize();

writer.Close();

 

2. 对索引进行搜索

IndexSearcher indexSearcher= new IndexSearcher(indexDir);

QueryParser parser = new QueryParser("shopname", new StandardAnalyzer());

Query query = parser.Parse(“东北”);

Hits hits = indexSearcher.Search(query);

Document doc;

For (int i = 0 ; i < hits.length();i++)

{

   doc = hits.Doc(i);

   doc.Get(“shopname”).ToString()

}

 

这样就实现了简单的全文搜索了。

 

 

Lucene的包结构

Lucene源码中共包括7个子包，每个包完成特定的功能：  

Lucene包结构功能表

包名

功能

Lucene.NET.Analysis

语言分析器，主要用于的切词，可以扩展此类以支持多种语言

Lucene.net.Document

索引存储时的文档结构管理，类似于关系型数据库的表结构

Lucene.Net.Index

索引管理，包括索引建立、删除等

Lucene.Net.QueryParser

查询分析器，实现查询关键词间的运算，如与、或、非等

Lucene.Net.Search

检索管理，根据查询条件，检索得到结果

Lucene.Net.Store

数据存储管理，主要包括一些底层的I/O操作

Lucene.Net.Util

一些公用类

 

建立索引时最重要的几个概念

Document：一个要进行索引的单元，相当于数据库的一行纪录，任何想要被索引的数据，都必须转化为Document对象存放。

Field：Document中的一个字段，相当于数据库中的Column。

IndexWriter：负责将Document写入索引文件。通常情况下,IndexWriter的构造函数包括了以下3个参数：索引存放的路径,分析器和是否重新创建索引。特别注意的一点，当IndexWriter执行完addDocument方法后，一定要记得调用自身的close方法来关闭它。只有在调用了close方法后，索引器才会将存放在内在中的所有内容写入磁盘并关闭输出流。

Analyzer：分析器，主要用于文本分词。常用的有StandardAnalyzer分析器，StopAnalyzer分析器，WhitespaceAnalyzer分析器等。

Directory：索引存放的位置。Lucene提供了两种索引存放的位置，一种是磁盘，一种是内存。一般情况将索引放在磁盘上；相应地Lucene提供了FSDirectory和RAMDirectory两个类。

Segment：段，是Lucene索引文件的最基本的一个单位。Lucene说到底就是不断加入新的Segment，然后按一定的规则算法合并不同的Segment以合成新的Segment。

 

Lucene建立索引的过程就是将待索引的对象转化为Lucene的Document对象，使用IndexWriter将其写入Lucene 自定义格式的索引文件中。待索引的对象可以来自文件、数据库等任意途径，用户自行编码遍历目录读取文件或者查询数据库表取得ResultSet，Lucene的API只负责和字符串打交道。

 

 

Field对象

从Lucene的源代码中，可以看出Field 典型构造函数如下：

Field(String name, String value, Field.Store store, Field.Index index)

其中：

Field.Index有四种属性，分别是：

Field.Index.TOKENIZED：分词索引

Field.Index.UN_TOKENIZED：不分词进行索引，如作者名，日期等，不再需要分词。

Field.Index.NO：不进行索引，存放不能被搜索的内容如文档的一些附加属性如文档类型, URL等。

Field.Index.NO_NORMS：不分词,建索引.但是Field的值不像通常那样被保存，而是只取一个byte，这样节约存储空间。

Field.Store也有三个属性，分别是：

Field.Store.YES：索引文件本来只存储索引数据, 此设计将原文内容直接也存储在索引文件中，如文档的标题。

Field.Store.NO：原文不存储在索引文件中，搜索结果命中后，再根据其他附加属性如文件的Path，数据库的主键等，重新连接打开原文，适合原文内容较大的情况。

          Field.Store.COMPRESS 压缩存储。

Lucene的基本原理和代码分析:

其中总体架构和索引文件格式是Lucene 2.9的，索引过程分析是Lucene 3.0的。

鉴于索引文件格式没有太大变化，因而原文没有更新，原理和架构的文章中引用了前辈的一些图，可能属于早期的Lucene，但不影响对原理和架构的理解。

本系列文章尚在撰写之中，将会有分词器，段合并，QueryParser，查询语句与查询对象，搜索过程，打分公式的推导等章节。

提前给大家分享，希望大家批评指正。 

 

Lucene学习总结之一：全文检索的基本原理

http://www.cnblogs.com/forfuture1978/archive/2009/12/14/1623594.html

Lucene学习总结之二：Lucene的总体架构

http://www.cnblogs.com/forfuture1978/archive/2009/12/14/1623596.html 

Lucene学习总结之三：Lucene的索引文件格式(1)

http://www.cnblogs.com/forfuture1978/archive/2009/12/14/1623597.html

Lucene学习总结之三：Lucene的索引文件格式(2)

http://www.cnblogs.com/forfuture1978/archive/2009/12/14/1623599.html

Lucene学习总结之三：Lucene的索引文件格式(3)

http://www.cnblogs.com/forfuture1978/archive/2010/02/02/1661436.html

Lucene学习总结之四：Lucene索引过程分析(1)

http://www.cnblogs.com/forfuture1978/archive/2010/02/02/1661439.html

Lucene学习总结之四：Lucene索引过程分析(2)

http://www.cnblogs.com/forfuture1978/archive/2010/02/02/1661440.html

Lucene学习总结之四：Lucene索引过程分析(3)

http://www.cnblogs.com/forfuture1978/archive/2010/02/02/1661441.html

Lucene学习总结之四：Lucene索引过程分析(4) 

http://www.cnblogs.com/forfuture1978/archive/2010/02/02/1661442.html 

 

本系列文章已在javaeye制作成电子书，可提供下载，谢谢关注。
http://forfuture1978.javaeye.com/blog/pdf 
搜索技术 上
qq_40208605的博客
04-19 992
1.1、什么是搜索 简单的说，搜索就是搜寻、查找，在IT行业中就是指用户输入关键字，通过相应的算法，查询并返回用户所需要的信息。 线性匹配： Select * from 表名 where id= select * from item where title like ’%小米%’ 结果: 结果中包含： 所有title字段中有 小米 这个词的结果集 是否准确？ 是否高效？ 1.2...
ElasticSearch是什么？基于Lucene的，那么为什么不是直接使用Lucene呢？
猪猪
01-18 1284
功能：ElasticSearch支持多种数据格式，包括文本、数字、地理位置等，并提供了灵活的查询语言来满足各种搜索需求。它通常用于大规模的文本搜索，例如网站搜索、日志分析、实时数据分析等场景。优势大规模数据处理：ElasticSearch能够处理大量的数据并提供实时的搜索和分析能力。它使用了分布式架构，可以在多个服务器上扩展，从而处理PB级别的数据。高性能搜索：ElasticSearch提供了高性能的全文搜索功能，用户可以快速地从大量数据中检索到所需的信息。实时分析。
什么是Lucene
写博客只为学习
04-11 1306
一，Lucene是什么？ Lucene是一款高性能的，可扩展的信息检索（IR）工具库。信息检索库是指文档搜索，文档内信息检索或者文档相关元数据搜索等操作。Lucene能够融入到你的应用程序，以增加搜索功能。它是一款以java实现的成熟，自用，开源的软件项目，也是Apache软件基金（Apache Software Foundation）中的一个项目，并且基于Apache软件许可协议授权。因此，L
什么是lucene?
u012859591的博客
09-16 523
1.什么是Lucene? lucene是一款高性能，可扩展的信息检索库。lucene能到融入到你的程序当中,比如增加搜索功能。它是以java语言为实现，开源、成熟的软件项目。也是Apache软件基金会下的一个子项目。 2.lecene能做什么? 其实我们在你不知道Lucene的时候已经用过了，比如在淘宝，京东买东西的时候，大部分都是通过搜索得到你想要的结果。当然了，Lucene只是用java
Lucene就是这么简单
3y
03-19 1076
什么是Lucene？？ Lucene是apache软件基金会发布的一个开放源代码的全文检索引擎工具包，由资深全文检索专家Doug Cutting所撰写,它是一个全文检索引擎的架构，提供了完整的创建索引和查询索引，以及部分文本分析的引擎，Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎，Lucene在全...
Elasticsearch和Lucene之间是什么关系？（ChatGPT回答）
weixin_41338279的博客
11-07 1299
Lucene是一个强大的搜索引擎库，提供了高效的索引和查询功能，但使用起来较为复杂，需要开发者手动管理索引和查询流程。则是基于 Lucene 的分布式搜索引擎，通过封装 Lucene 的功能，并添加分布式、近实时、聚合分析等高级特性，使得搜索引擎的使用更加简单和高效。简而言之，Elasticsearch 使用 Lucene 作为底层引擎来处理搜索和索引操作，但提供了更加用户友好的功能和接口，并解决了分布式搜索和集群管理的复杂性。
如何将Lucene索引写入Hadoop？
08-06
标题 "如何将Lucene索引写入Hadoop" 指涉的是在大数据处理场景下，如何利用Apache Lucene的全文检索功能与Apache Hadoop的分布式计算能力相结合，实现高效的数据检索。Apache Lucene是一个高性能、全文本搜索库，而...
chinese_lucene.rar_Lucene C#_Lucene for .net_PanGu4Lucene_lucene
09-24
《深入理解Lucene C#与.NET环境下的应用实践》 Lucene是一款强大的全文搜索引擎库，最初由Apache软件基金会开发，现已成为Apache Lucene项目的一部分。它提供了高效的索引和搜索功能，广泛应用于各类数据检索系统。...
Lucene简介
weixin_42920757的博客
02-18 2753
前言 Lucene 是一个基于 Java 的全文信息检索工具包，目前主流的搜索系统 Elasticsearch 和 solr 都是基于 lucene 的索引和搜索能力进行。想要理解搜索系统的实现原理，就需要深入 lucene 这一层，看看 lucene 是如何存储需要检索的数据，以及如何完成高效的数据检索。 在数据库中因为有索引的存在，也可以支持很多高效的查询操作。不过对比 lucene，数据库的查询能力还是会弱很多，本文就将探索下 lucene 支持哪些查询，并会重点选取几类查询分析 lucene 内部是
lucene 漫谈--入门与介绍(1)
flying
04-25 138
[b]1 lucene简介[/b] 1.1 什么是lucene Apache Lucene是一个基于Java全文搜索引擎，利用它可以轻易地为Java软件加入全文搜寻功能。 Lucene 是一个基于 Java 的全文信息检索工具包，它不是一个完整的搜索应用程序，而是为你的应用程序提供索引和搜索功能。可以方便的嵌入到各种应用中...
框架 day70 Lucene全文检索技术入门
飛白的学习笔记
07-18 2708
笔记转载自传智播客-东哥(关云长) 教案 1、 Lucene介绍 a)      什么是lucene b)      全文检索的应用场景 c)       全文检索定义 2、 Luence实现全文检索的流程（重点） 3、 入门程序 4、 Field域（重点） 5、 索引维护 a)      添加索引 b)      删除索引 c)       修改索引 6、 搜索（
lucene介绍与使用
bird_tp的博客
09-18 1089
一、什么是lucene Lucene是apache软件基金会4 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。 上面这段是百度百科的解释，简单的说就是一个实现全文检索引擎的工具包，里面提供...
lucene可以做什么
shuangyvshenshi的专栏
10-06 1710
性能上：大数据量的情况下，用数据库来做文本的搜索是很可怕的事情，但是Lucene轻松毫秒杀。 功能上：Lucene 可以做全文匹配搜索，假设： 内容：开源中国是一个以开源软件为核心的技术社区网站， 搜索关键字：开源社区 如果这个内容是存在数据库的，就搜不到，如果使用Lucene就可以搜到 这就是 Lucene 的用法
搜索引擎之Lucene
oldmonk
07-02 164
1 Lucene介绍 1.1 什么是Lucene Lucene是apache下的一个开源的全文检索引擎工具包。它为软件开发人员提供一个简单易用的工具包(类库)，以方便的在目标系统中实现全文检索的功能。 1.2 全文检索的应用场景 1.2.1 搜索引擎 ©注意： Lucene和搜索引擎是不同的，Lucene是一套用java或其它语言写的全文检索的工...
Lucene系列(一)什么是Lucene
呼延十
01-30 437
前言 上一个系列还没有完结，我又来开新坑啦～ 接触搜索/推荐相关工作，也有两年了。工作里对lucene的接触不少，却也不精。最近工作里没有那么忙，因此想通过学习源码的方式，来对lucene进行一个系统的学习。 此外，听闻lucene源码堪称面对对象设计届的典范，也想从中吸收一些代码设计/开发方面的知识。最近老是感觉自己写的代码有问题，想尝试优化却感觉非常吃力，经常一顿操作下来提升的很有限。 lucene简介 以下内容来自维基百科： Lucene是一套用于全文检索和搜索的开放源码程序库，由Apache软件基
lucene 简介，什么是lucene
skysnow137的博客
12-09 183
Lucene：基于Java的全文检索引擎简介 ucene是一个基于Java的全文索引工具包。 基于Java的全文索引引擎Lucene简介：关于作者和Lucene的历史 全文检索的实现：Luene全文索引和数据库索引的比较 中文切分词机制简介：基于词库和自动切分词算法的比较 具体的安装和使用简介：系统结构介绍和演示 Hacking Lucene：简化的查询分析器，删除的实现，定制的排...
Lucene是什么
最新发布
05-24
### 关于Lucene的定义和用途 #### Lucene是什么？ Apache Lucene是一种高性能、可扩展的信息检索库，主要用于全文索引和搜索功能[^1]。它提供了一套完整的工具来处理文本数据的索引创建、管理以及高效的查询操作。作为一个开源项目，Lucene被广泛应用于各种需要快速精确查找的应用程序中。 #### Lucene的主要特点 - **强大的索引能力**：通过复杂的算法和技术实现高效的数据结构存储方式，使得即使面对海量数据也能保持较高的性能水平。 - **灵活的查询解析器**：允许开发者自定义查询语法或者直接调用底层API完成复杂条件下的筛选工作。 - **跨平台兼容性**：由于采用Java语言编写而成，因此可以在任何支持JVM的操作系统环境下运行不受限。 #### 在搜索与索引中的具体应用实例 当涉及到大规模文档集合时（比如企业内部资料库或是互联网网页抓取），使用传统关系型数据库来进行模糊匹配往往显得力不从心；而此时引入像Lucene这样的专门针对此类需求设计的技术框架就变得尤为重要了。例如，在电子商务网站商品展示页面下方常见的好评差评排序选项背后很可能就有依赖于Lucene所提供的相关技术支撑——通过对用户评论内容建立倒排列表并赋予相应权重值之后再依据特定规则重新排列显示顺序从而达到提升用户体验的目的[^2]。 另外值得一提的是关于规范化向量距离(Normalized Vector Distance,NVD) 及其对应版本控制文件(Norms Version Map,NVM)，这两者共同作用下可以有效改善最终呈现给用户的搜索结果质量。因为前者记录了每篇文档相对于整个语料库平均长度的比例因子以便调整TF-IDF公式计算过程中的偏差项，后者则用来追踪不同时间段内新增加进去的新条目是否已经同步更新到了最新的标准之上以确保一致性[^3]。 ```java // 创建IndexWriter对象前先指定Directory路径参数 Directory directory = FSDirectory.open(Paths.get("/path/to/index")); Analyzer analyzer = new StandardAnalyzer(); IndexWriterConfig iwc = new IndexWriterConfig(analyzer); iwc.setOpenMode(IndexWriterConfig.OpenMode.CREATE_OR_APPEND); IndexWriter writer = new IndexWriter(directory,iwc); // 添加Document至索引过程中自动写入NVD/NVM相关信息 Document doc=new Document(); doc.add(new TextField("content",text,Field.Store.YES)); writer.addDocument(doc); ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值