Lucene

【Lucene】详解Lucene全文检索的信息写入与读取 详解Lucene全文检索的信息写入与读取 阅读详情

 

Lucene

全文检索系统的结构包括:文本处理引擎,索引引擎,磁盘索引文件,查询引擎,二次应用开发接口。

Lucene是一个开放源代码的全文检索引擎工具包,不是一个完整的全文检索引擎,而是一个全文检索引擎的架构。

成功案例:Eclipse,Jive

 

Lucene包结构(七大块)

 

Lucene的倒排索引算法:

 

设有两篇文章1和2
文章1的内容为:Tom lives in Guangzhou,I live in Guangzhou too.
文章2的内容为:He once lived in Shanghai.

传统算法:

文章1的所有关键词为:[tom] [live] [guangzhou] [i] [live] [guangzhou]
   
文章2的所有关键词为:[he] [live] [shanghai]

倒排索引算法:

关键词   文章号[出现频率]   出现位置
guangzhou 1[2]               3
,6
he       2[1]               1
i         1[1]               4
live      1[2],2[1]           2
,5,2
shanghai  2[1]               3
tom      1[1]               1

 

 

一、环境

需要导入lucene.jar包(在lucene.apache.org下载)

二、基本概念

1.Lucene的工作流程:

(1) 建立索引:主要使用IndexWriter,在指定的目录建立索引的文件.

                 IndexWrite几种构造函数

         IndexWrite(String str ,  Analyzer a ,  Boolean create)

                  IndexWrite(File  f ,    Analyzer a,  Boolean create)

         IndexWrite(Directory d ,  Analyzer a,  Boolean create)

 

        

    a.提取文本. Lucene只能对文本信息建立索引,只要你能将要索引的文件转化成文本格式,Lucene 就能为你的文档建立索引。比如,如果你想为 HTML 文档或者 PDF 文档建立索引,那么首先你就需要从这些文档中提取出文本信息,然后把文本信息交给 Lucene 建立索引。

    b.构建Document

    c.分析并建立索引,在提取了需要Lucene建立索引的数据并且创建了Document之后,接下来就可以调用IndexWrite类的addDocument()方法来使Lucene建立索引了。

   

 
   (2) 
创建搜索的Query
   (3 )
利用IndexSearcher进行搜索

 

2.Lucene的字段Field类型

 

对于每个Field , Lucene提供了3种方式以供用户选择进行处理,这3种方式分别是“是否切词”,“是否索引”,“是否存储”。

Lucene有四种不同的字段类型:Keyword,UnIndexed,UnStored和Text,用于指定建立最佳索引。

 



字段类型

是否切词

是否索引

是否存储

    主要用途

Field.Keyword(String name,String value)

Field.Keyword(String Date)

否

是

是

电话号码,居民身份证,人名,地名,日期等

Field.UnIndexed(String,String)

否

否

是

文档的类型,例如:Word,PDF,HTML

Field.UnStored(String,String)

是

是

否

文档的标题和内容

Field.Text(String,String)

是

是

是

文档的标题和内容

Field.Text(String,Reader)

是

是

否

文档的标题和内容

 

 

3.基本概念(与传统表的对比):

Lucene

传统表

说明

IndexWriter

table

 

Document

一条记录

 

Field

每个字段

分为可被索引的,可切分的,不可被切分的,不可被索引的几种组合类型

Hits

RecoreSet

结果集

 

  调整性能参数,提高建立索引效率

IndexWriter提供了一些参数可供设置,列表如下

 

属性

默认值

说明

mergeFactor

org.apache.lucene.mergeFactor

10

控制index的大小和频率,两个作用

1.一个段有多少document

2.多少个段合成一个大段

maxMergeDocs

org.apache.lucene.maxMergeDocs

Integer.MAX_VALUE

限制一个段中的document数目

minMergeDocs

org.apache.lucene.minMergeDocs

10

缓存在内存中的document数目,超过他以后会写入到磁盘

maxFieldLength

 

1000

一个Field中最大Term数目,超过部分忽略,不会index到field中,所以自然也就搜索不到

这些参数的的详细说明比较复杂:mergeFactor有双重作用

(1)设置每mergeFactor个document写入一个段,比如每10个document写入一个段

(2)设置每mergeFacotr个小段合并到一个大段,比如10个document的时候合并为1小段,以后有10个小段以后合并到一个大段,有10个大段以后再合并,实际的document数目会是mergeFactor的指数

简单的来说mergeFactor 越大,系统会用更多的内存,更少磁盘处理,如果要打批量的作index,那么把mergeFactor设置大没错, mergeFactor 小了以后, index数目也会增多,searhing的效率会降低,但是mergeFactor增大一点一点,内存消耗会增大很多(指数关系),所以要留意不要”out of memory”
把maxMergeDocs设置小,可以强制让达到一定数量的document写为一个段,这样可以抵消部分mergeFactor的作用.
minMergeDocs
相当于设置一个小的cache,第一个这个数目的document会留在内存里面,不写入磁盘。这些参数同样是没有最佳值的,必须根据实际情况一点点调整。
maxFieldLength
可以在任何时刻设置,设置后,接下来的index的Field会按照新的length截取,之前已经index的部分不会改变。可以设置为Integer.MAX_VALUE

 

 

索引的存放位置(FSDirectory与RAMDirectory)

 

FSDirectory : IndexWriter writer = new IndexWriter(FSDirectory.getDirectory(path,true) ,  new StandardAnalyzer() , true);

RAMDirectory : 虚拟机退出以后,内存中的索引将不存在

IndexWriter writer = new IndexWriter(new RAMDirectory() ,  new StandardAnalyzer() , true);

    

索引的合并(利用IndexWriter.addIndexes())

 

FSDirectory fsDir = FSDirectory.getDirectory(“c://index”,true);

RAMDirectory ramDir = new RAMDirectory();

 

IndexWriter fsWriter = new IndexWriter(fsDIr , new StandardAnalyzer() , true);

IndexWriter ramWriter = new IndexWriter(ramDir, new StandardAnalyzer() , true);

 

Document doc1 = new Document();

doc1.add(Field.Text(“name”,”word1 word2 word3”));

 

Document doc2 = new Document();

doc2.add(Field.Text(“name” , “word1 word2 word3));

 

ramWriter.addDocument(doc1);

fsWrite.addDocument(doc2);

 

ramWriter.close();

 

fsWriter.addIndexes(new Directory[](fsDir));

fsWriter.close();  

 

 

从索引里删除某个文档 (利用IndexReader.open()打开一个索引),并不是真正的删除某个文档,而只是标识这些文档为删除状态,可以通过IndexReader.undeleteAll()方法来恢复被删除的文档

 

根据文档id进行删除

IndexReader reader = IndexReader.open(“c://index”);

reader.delete(0);

reader.close();

 

按字段Filed来删除 

IndexReader reader = IndexReader.open(“c://index”);

reader.delete(new Term(“name”,”word1”));

reader.close();

 

 

如果想从物理硬盘上真正的删除某个文档,还需要这样做:

File   indexDir = new File("C://luceneIndex");

Analyzer luceneAnalyzer = new StandardAnalyzer();

IndexWriter indexWriter = new IndexWriter(indexDir,luceneAnalyzer,false);

indexWriter.optimize();

indexWriter.close();

创建了类 IndexWriter 的一个实例,并且打开了一个已经存在的索引。indexWriter.optimize();对索引进行清理,清理过程中将把所有标记为删除的文档物理删除。

Lucene 没有直接提供方法对文档进行更新,如果你需要更新一个文档,那么你首先需要把这个文档从索引中删除,然后把新版本的文档加入到索引中去。

 

 

索引的优化

 

Indexwriter.optimize()方法可以为查询优化索引(index),之前提到的参数调优是为indexing过程本身优化,而这里是为查询优化,优化主要是减少index文件数,这样让查询的时候少打开文件,优化过程中,lucene会拷贝旧的index再合并,合并完成以后删除旧的index,所以在此期间,磁盘占用增加, IO符合也会增加,在优化完成瞬间,磁盘占用会是优化前的2倍,在optimize过程中可以同时作search。

 

 

4.几种查询方式      

查询方式

说明

TermQuery

条件查询

例如:TermQuery tquery=new TermQuery(new Term("name","jerry"));

name:字段名

jerry:要搜索的字符串

MultiTermQuery

多个字段进行同一关键字的查询

Query query= null;

Query =MultiFieldQueryParser.parse("我",new String[] {"title","content"},analyzer);

Searcher searcher=new IndexSearcher(indexFilePath);
 Hits hits=searcher.search(query);

BooleanQuery

例如:BooleanQuery bquery=new BooleanQuery();

Query query = new TermQuery(newTerm(“name”,”aa”));

Query mquery = new TermQuery(new Term(“content”,”bbb”));
bquery.add(query,true,false);
 bquery.add(mquery,true,false);
   Searcher searcher=new IndexSearcher(indexFilePath);
    Hits hits=searcher.search(bquery);

WildcardQuery

语义查询(通配符查询)

例:Query query= new WildcardQuery(new Term("sender","*davy*"));

PhraseQuery

短语查询,多关键字查询

PrefixQuery

前缀查询 Term term = new Term(“name”,”da”);Query query=new PrefixQuery(term);

PhrasePrefixQuery

短语前缀查询

FuzzyQuery

模糊查询Term term = new Term(“name”,”da”);Query query=new FuzzyQuery (term);

RangeQuery

范围查询  Query query = new RangeQuery(beginTIme,endTime,true);

SpanQuery

范围查询

在全文检索时建议大家先采用语义时的搜索,先搜索出有意义的内容,之后再进行模糊之类的搜索

 

2个关键性应用搜索

 

1)多索引搜索:MultiSearcher
IndexSearcher[] searchers = new IndexSearcher[2]; 
  
searchers[0] = new IndexSearcher(m_indexpath);
searchers[1] = new IndexSearcher(m_outindexpath);

MultiSearcher multiSearcher = new MultiSearcher(searchers);

(2)
多域搜索,MultiFieldQueryParser

Query query = MultiFieldQueryParse.parse(“Lucene”,new String[]{“title”,”content”},analyzer);
或者
BooleanQuery m_BooleanQuery = new BooleanQuery();
Query query = QueryParser.Parse(m_SearchText, "INSTRUMENT_NAME", analyzer);
Query query2 = QueryParser.Parse(m_SearchText2, "INSTRUMENT_NAME2", analyzer);
m_BooleanQuery.Add(query, true, false);
m_BooleanQuery.Add(query2, true, false);

 

 

5.Lucene 的检索结果排序

        Lucene的排序主要是对org.apache.lucene.search.Sort的使用。Sort可以直接根据字段Field生成,也可以根据标准的SortField生成,但是作为Sort的字段,必须符合以下的条件:唯一值以及Indexed。可以对Integers, Floats, Strings三种类型排序。
        
对整数型的ID检索结果排序只要进行以下的简单操作:

Sort sort = new Sort("id");

对多个字段排序:Sort sort = new Sort(new SortField[]{new SortField(“title”),new SortField(“content”)});
 Hits hits = searcher.search(query, sort);

用户还可以根据自己定义更加复杂的排序,只要实现SortComparatorSource接口就可以了

 

6.分析器(Analyzer) 包括 分词器(Tokenizer) 和 过滤器(TokenFilter)

Lucene使用分析器来处理被索引的文本。在将其存入索引之前,分析器用于将文本标记化、摘录有关的单词、丢弃共有的单词、处理派生词(把派生词还原到词根形式,意思是把bowling、bowler和bowls还原为bowl)和完成其它要做的处理。Lucene提供的通用分析器是:
        SimpleAnalyzer
:用字符串标记一组单词并且转化为小写字母。
        StandardAnalyzer
:用字符串标记一组单词,可识别缩写词、email地址、主机名称等等。并丢弃基于英语的stop words (a, an, the, to)等、处理派生词。

   ChineseAnalyzer.class,它是一个单字分析法,它把句子中的词全部分成一个一个的字符,以单个字为单位存储。

CJKAnalyzer.class,它是双字分析法,它把中文以双字为单位拆分得到结果,从而建立词条。当然这些得到的双字词中会有很多不符合中文语义单位的双字被送进索引。

 

 源码分析过滤器:

TokenStream result = new StandardTokenizer(reader);

result = new StandardFilter(result);

result = new LowerCaseFilter(result);

result = new StopFilter(result,stopSet);

 

 

中文分词方法:

1.   单字切分

2.   二分法

3.   词库分词

 

 

十、需要注意的问题:

1 .IndexWriter在添加新的document后,需要重新建立Index,则需要调用writer.optimize();方法
2. Lucene
没有update索引的方法,需要删除后重新建立,参考remove方法
3 .
用IndexReader删除Document后,需要重新用IndexWriter进行整理,否则无法在进行搜索(不知道是不是我设置问题)

4.Lucene先在内存中进行索引操作,并根据一定的批量进行文件的写入。这个批次的间隔越大,文件的写入次数越少,但占用内存会很多。反之占用内存少,但文件IO操作频繁,索引速度会很慢。在IndexWriter中有一个MERGE_FACTOR参数可以帮助你在构造索引器后根据应用环境的情况充分利用内存减少文件的操作。根据我的使用经验:缺省Indexer是每20条记录索引后写入一次,每将MERGE_FACTOR增加50倍,索引速度可以提高1倍左右。

5.并发操作Lucene

(1)所有只读操作都可以并发

(2)在index被修改期间,所有只读操作都可以并发

(3)对index修改操作不能并发,一个index只能被一个线程占用

(4)ndex的优化,合并,添加都是修改操作

(5)但需要注意的是,在创建搜索的时候用:

searcher = new IndexSearcher(IndexReader.open("E://lucene//test4//index"));

searcher.close();

这时候是不能关闭searcher的.

如果想让searcher能关闭,就不要用IndexReader了:

  searcher = new IndexSearcher("E://lucene//test4//index");

6.Locking机制

 lucence内部使用文件来locking,默认的locking文件放在java.io.tmpdir,可以通过-Dorg.apache.lucene.lockDir=xxx指定新的dir,有write.lock commit.lock两个文件,lock文件用来防止并行操作index,如果并行操作, lucene会抛出异常,可以通过设置-DdisableLuceneLocks=true来禁止locking,这样做一般来说很危险,除非你有操作系统或者物理级别的只读保证,比如把index文件刻盘到CDROM上。

实例:

1.判断索引文件是否存在:

/**
     *
检查索引是否存在.
     * @param indexDir
     * @return
     */
    public static boolean indexExist(String indexDir)
    {
        return IndexReader.indexExists(indexDir);
    }
 private IndexWriter getWriter(String indexFilePath) throws Exception {
        boolean append=true;
        File file=new File(indexFilePath+File.separator+"segments");
        if(file.exists())
            append=false; 
        return new IndexWriter(indexFilePath,analyzer,append);
    }

 

2.删除索引

/**
     *
删除索引.
     * @param aTerm
索引删除条件
     * @param indexDir
索引目录
     */
    public static void deleteIndex(Term aTerm, String indexDir)
    {
        List aList = new ArrayList();
        aList.add(aTerm);
        deleteIndex(aList, indexDir);
    }

    /**
     *
删除索引.
     * @param aTerm
索引删除条件.
     * @param indexDir
索引目录     * 
     */
    public static void deleteIndex(List terms, String indexDir)
    {
        if (null == terms) {
            return;
        }
       
        if(!indexExist(indexDir)) { return; }

        IndexReader reader = null;
        try {
            reader = IndexReader.open(indexDir);
            for (int i = 0; i < terms.size(); i++){
                Term aTerm = (Term) terms.get(i);
                if (null != aTerm){
                    reader.delete(aTerm);
                }
            }
        } catch (IOException e){
            LogMan.warn("Error in Delete Index", e);
        } finally {
            try{
                if (null != reader){
                    reader.close();
                }
            }catch (IOException e){
                LogMan.warn("Close reader Error");
            }
        }
    } 

 删除索引需要一个条件,类似数据库中的字段条件,例如删除一条新闻的代码如下:
     public static void deleteNewsInfoIndex(int nid)
     {
         Term aTerm = new Term("nid", String.valueOf(nid));
         deleteIndex(aTerm,indexDir);
     }   

3. 检查某个分析器的分词效果

public class ShowResult

{

    public static void show(Analyzer a , String s) throws Exception

    {

        StringReader reader = new StringReader(s);

        TokenStream ts = a.tokenStream(reader);

        Token t  = ts.next();

        while(t != null)

        {

            System.out.println(t.termText());

            t = ts.next();

        }

    }

   

    public static void main(String[] args) throws Exception

    {

        Analyzer a = new SimpleAnalyzer();

//      Analyzer a = new WhitespaceAnalyzer();

//      Analyzer a = new CJKAnalyzer();

       

        String key = "中华人 民共和国";

        ShowResult.show(a,key);

    }

   

}

4. 高亮设置

Hits hits = searcher.search(query);

 

  

   //高亮显示设置

   SimpleHTMLFormatter simpleHTMLFormatter = new SimpleHTMLFormatter("<red>","</red>");  

   highlighter = new Highlighter(simpleHTMLFormatter,new QueryScorer(query));     

   highlighter.setTextFragmenter(new SimpleFragmenter(10));

 

5.索引监视器

Web形式下的LIMO

桌面应用下的Luke

       命令行下的LUCLI

 

相关推荐

FPGA新手必看:GT收发器示例工程从零搭建到调试(附眼图测试技巧)

本文详细解析了FPGA中GT收发器示例工程的从零搭建到调试全流程,特别适合新手入门。内容涵盖工程创建、GT Wizard IP核配置、示例工程代码解析及眼图测试技巧,帮助读者快速掌握高速串行通信的关键技术。重点介绍了眼图测试的硬件连接规范和常见问题排查方法,提升调试效率。

weixin_29248313的博客 395

Lucene教程详解

注明:本文是由本人在开发有关基于lucene资源检索系统时的一点总结,其中一部分是自己根据开发过程自己总结的,也有部分是摘自网络,因无法获取当时摘文的地址,所以在此没有写源地址。 转载请声明出处   Lucene-3.0.0配置 一、Lucene开发环境配置   step1.Lucene开发包下载   step2.Java开发环境配置   step3.Tomca

曹胜欢 7万+

基于QEMU的openEuler aarch64虚拟机快速部署与漏洞验证指南

本文提供了一份基于QEMU在个人电脑上快速部署openEuler aarch64虚拟机的详细指南。内容涵盖从软件准备、目录规划、QEMU安装、虚拟磁盘创建到系统安装与SSH配置的全过程,并以CVE-2024-1086内核漏洞为例,演示了如何在该虚拟环境中进行安全漏洞的验证与补丁测试,为安全研究和运维测试提供了一个低成本、高效率的ARM架构沙箱环境。

earth的博客 439

Lucene 开发手册

1.1  前言 l  编制本手册的目的: 1.描述Lucene用途,使开发人员依据本手册初步认识Lucene; 2.描述Lucene的API,使开发人员可以快速认识并利用Lucene开发搜索引擎; 3.描述Lucene和webdt的融合; 4. 重点描述Lucene的应用,使开发人员可按照本手册的描述开发。 l  本手册面向的读者: 熟悉Java开发,并对WEBDT软件的特点(请参阅

3066

别再为3D抓取发愁了!Halcon手眼标定保姆级教程(Eye-to-Hand模式,含完整代码)

本文提供Halcon手眼标定的保姆级教程,详细讲解Eye-to-Hand模式下的3D抓取实现方法。从硬件配置、坐标系系统到标定流程和核心算法,涵盖完整代码和实战经验,帮助用户快速掌握工业自动化中的精准抓取技术。

weixin_42523711的博客 271

手把手教你用VCS+VERDI搭建数字IC验证环境(附Makefile避坑指南)

本文详细介绍了如何使用VCS编译器和VERDI调试工具搭建数字IC验证环境,涵盖从RTL设计到波形分析的全流程。重点解析了Makefile自动化构建、FSDB波形生成方法及常见问题解决方案,帮助工程师高效完成验证工作。特别提供了VCS编译参数配置和VERDI调试技巧的实用指南。

weixin_33738578的博客 451

Lucene Changes (Lucene 8.7.0)

2020年11月3号,Lucene发布了最新的版本8.7.0,本篇文章将会对Change Log中几个变更展开介绍下。 LUCENE-9510   该issue的原文如下: 1 Indexing with an index sort is now faster by not compressing temporary representations of the data.   上文大意为:当设置了段内排序IndexSort后,索引(Indexing)的速度比以前更快了,因为不再压缩临时的数据

q364367207的专栏 874

一文搞懂自适应激光控制技术,开启光学新时代

自适应激光控制技术作为现代光学领域的关键技术,以其独特的原理和高效的工作机制,在科研、工业等众多领域展现出了巨大的应用价值。通过对激光波前的实时测量与补偿,它成功克服了激光在传输和应用过程中面临的诸多挑战,显著提升了激光的光束质量和应用效果。在科研领域,它助力天文观测突破大气湍流的限制,让我们得以更清晰地窥探宇宙的奥秘;在激光核聚变研究中,为实现高效的核聚变反应提供了关键支持,为解决能源问题带来了新的希望。

远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享 2531

lucene

原理http://blog.youkuaiyun.com/u013573133/article/details/48245831 框架 http://blog.youkuaiyun.com/u013573133/article/details/48245901 demo http://blog.youkuaiyun.com/u013573133/article/details/48246351 1. 建立索引 为了简单起见,

BlackhorseMe的专栏 388

4、接收天线:接收电压、功率和传输系数

本文详细探讨了接收天线的性能参数,包括接收电压、功率和传输系数,通过建立等效电路模型分析接收偶极子的电流和开路电压,并定义电压和功率传输函数。研究揭示了天线长度、工作频率及极化失配对传输性能的影响,并提出了优化接收天线性能的策略,为天线系统的设计与优化提供了理论支持。

ll5678的博客 236

华为交换机、路由器配置静态路由实现不同网段通信

华为交换机、路由器配置静态路由实现不同网段通信。在主核心交换机上配置vlanif10 192.168.10.254/24,vlanif20 192.168.20.254/24,vlanif100 192.168.100.1/24,PC1:192.168.10.1能ping通PC2:192.168.20.1,也能ping通PC3:192.168.30.1,交换机和路由器使用静态路由。

星如雨落 6465

lucene Version parameter

Version:(Lucene 2.9以后出现) 如果你使用Version.LUCENE_CURRENT变量,以后当你升级lucene的时候可能会发生相当大的改变。如果向后兼容对你来说比较重要,你还是需要使用比较精确的版本号。如Version.LUCENE_30,Version.LUCENE_31等。 如果你还是要使用这个变量,那你可能会出现重新索引你以前的全部文档的可能。因为以前你所以的那个 LUCENE_CURRENT和现在的 LUCENE_CURRENT已经不是同一个了。注意点:只要你记住,索引用

skip_skip的专栏 1442

PLC为西门子的S7-1200,舵机为 DS3218,PLC控制舵机旋转程序实现?

🏆 本文收录于《全栈Bug调优(实战版)》专栏,致力于分享我在项目实战过程中遇到的各类Bug及其原因,并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者,本文将为你指引出一条更高效的Bug修复之路,助你早日登顶,迈向财富自由的梦想🚀!同时,欢迎大家关注、收藏、订阅本专栏,更多精彩内容正在持续更新中。让我们一起进步,Up!Up!Up!    备注: 部分问题/难题源自互联网,经过精心筛选和整理,结合数位十多年大厂实战经验资深大佬经验总结所得,数条可行方案供所需之人参考。

**My Coding Family** 1008

lucene学习:理解lucene分析器

lucene分析器主要用于将一个field文本转换为最基本的索引表示单元-term,也可以用于在使用QueryParser进行搜索时高亮显示被搜索的内容时。 lucene内置有四个分析器:WhitespaceAnalyzer、SimpleAnalyzer、StopAnalyser、StandardAnalyzer WhitespaceAnalyzer:分析器是通过空格来分割文本信息 Si

u010623907的专栏 1717

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

lucene 例子,lucene demo, lucene 教程

杭州驾校网 查了很多lucene资料,就纳闷为啥不能分享个简单的例子,我在这里自己写了一个 lucene实现其实很简单,先建立索引,在进行搜索,easy! 下载jar包,链接在这里:http://download.youkuaiyun.com/detail/dannor2010/8183641 项目中导入lib即可,不多说了。 前期:创建两个txt文件, C:\\source C:\\in...

2079

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Lucene的使用

在全文索引工具中,由以下3个部分组成:      1、索引部分      2、分词部分      3、搜索部分   一、创建索引 /** * 建立索引 */ public void index(){ IndexWriter writer=null; try { //1、创建Directory // Directory directory=new

1466

【Lucene】Lucene中的CRUD

首先写好工具类 package cn.qblank.util; import java.io.File; import java.lang.reflect.Method; import org.apache.commons.beanutils.BeanUtils; import org.apache.lucene.analysis.Analyzer; import org.apache.lu

Evan_QB的博客 633

java使用lucene_Lucene简单使用

1、简介:Lucence是一个文本检索的引擎工具包,我们可以再项目中添加进来做些简单的文本条目搜索,但它不是一个完整的全文检索引擎,例如Solr、ElasticSearch等。2、使用如下:Analyzer analyzer =new IKAnalyzer()//这里使用IKAnalyzer分词器IndexWriterConfig config = new IndexWriterConfig...

weixin_36242784的博客 1670

lucene各大版本变化总览

3.5 该版本进行了大量优化、改进和Bug修复,包括: 大大降低了控制开放的IndexReader上的协议索引的RAM占用(3~5倍)。 新增IndexSearcher.searchAfter,可在指定ScoreDoc后返回结果(例如之前页面的最后一个文档),以支持deep页用例。 新增SearcherManager,以管理共享和重新开始跨多个搜索线程的IndexSearch...

yangfuchao418的专栏 822

Lucene 快速入门

Lucene使得全文索引这项技术活变得非常简单,我将用5分钟做个快速展示。 1.建立索引  这个例子展示的是在内存中为几个String建立索引 StandardAnalyzer analyzer = new StandardAnalyzer(Version.LUCENE_44); Directory index = new RAMDirectory(); IndexWriterConfi

离名 1188

lucene总结

lucene进行总结一,知识点总结1,什么是Lucene​ Lucene是全文检索框架2,Lucene能做什么​ 就是你给Lucene提供若干个字符串,然后他为你提供一个全文搜索服务,告诉你你要搜索的关键词出现在了哪里3,Lucene为什么能这么快​ 采用了倒排索引的查询方法(倒排所以就是根据属性的值来查询记录该值的属性)4,Lucene的工作方式包括两部分:创建索引,读取索引1,创建

qq_38974131的博客 496

lucene实现分页代码

package cn.csdn.hr.domain; import java.io.Serializable;  /**   *   * Title:   * Description:   * Copyright: Copyright chenhj 2012   * Company: csdn   * @author Project">mailto:chenhj@csdn.n

张晓丛的专栏 3090

lucene + spring

一,lucene的索引工具类 package com.hwt.lucene.index; import java.io.File; import java.io.IOException; import java.util.List; import net.paoding.analysis.analyzer.PaodingAnalyzer; import org.apache.lucene.

hwt_211博客 2783

php lucene索引,Lucene索引升级

由于Lucene文件格式从2到3以及从3到4版本时都发生了重大的改变,造成了高版本无法读取低版本的数据,使用Lucene中的IndexUpgrader方法先将版本从2升到3,然后再从3升级到4。import java.io.File;import java.io.IOException;import java.util.List;import org.apache.lucene.index.Cor...

weixin_36295500的博客 438

lucene测试demo

1、在http://lucene.apache.org/下lucene4.8.0版本

坐井观天的日常 1205

lucene简单实例

import java.io.File; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.ap

交通部PC167 1314
上一篇: acegi
下一篇: MYSQL 语句
mhbjava
博客等级 码龄22年 0粉丝 18原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值