运用Lucene全文检索一句话

最新推荐文章于 2025-06-24 13:31:28 发布
最新推荐文章于 2025-06-24 13:31:28 发布
阅读量781 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 数据库 文章标签： 全文检索一句话 Lucene项目 一句话的全文检索 lucene入门项目
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_27339781/article/details/82823640

目录

一、项目需求

二、项目开发所需基本知识

三、项目结构

四、代码

1、com.xiong.bean.LuceneBean.java

2、package com.xiong.lucene.OperateLucene.java

3、com.xiong.utils.DocementUtil.java

4.com.xiong.Test.java

5.IKAnalyzer.cfg.xml

一、项目需求

将文章作文Lucene的仓库和索引库，当输入一段话如“孙悟空很厉害”自动进行分词，并全文索引，返回其id号和文章内容,其中由于给多家银行，所以bean有银行号

二、项目开发所需基本知识

https://blog.youkuaiyun.com/qq_27339781/article/details/82814360   

三、项目结构

四、代码

1、com.xiong.bean.LuceneBean.java

package com.xiong.bean;

import java.io.Serializable;

public class LuceneBean implements Serializable{

	private static final long serialVersionUID = 1L;
	
	private String id;
	private String  content;
	private String bankId;
	
	public String getId() {
		return id;
	}
	public void setId(String id) {
		this.id = id;
	}
	public String getContent() {
		return content;
	}
	public void setContent(String content) {
		this.content = content;
	}
	public String getBankId() {
		return bankId;
	}
	public void setBankId(String bankId) {
		this.bankId = bankId;
	}
	
}

2、package com.xiong.lucene.OperateLucene.java

package com.xiong.lucene;

import java.io.File;
import java.io.IOException;
import java.io.StringReader;
import java.util.ArrayList;
import java.util.List;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.TermAttribute;
import org.apache.lucene.document.Document;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriter.MaxFieldLength;
import org.apache.lucene.index.Term;
import org.apache.lucene.queryParser.MultiFieldQueryParser;
import org.apache.lucene.queryParser.QueryParser;
import org.apache.lucene.search.BooleanClause.Occur;
import org.apache.lucene.search.BooleanQuery;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TermQuery;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.util.Version;
import org.junit.Test;
import org.wltea.analyzer.lucene.IKAnalyzer;

import com.xiong.bean.LuceneBean;
import com.xiong.utils.DocumentUtils;

public class OperateLucene {
	private String dirPath;
	public String getDirPath() {
		return dirPath;
	}
	public void setDirPath(String dirPath) {
		this.dirPath = dirPath;
	}
	public OperateLucene(String dirPath) {
		super();
		this.dirPath = dirPath;
	}
/*-----------------------------------------------------------------------------------------------------------*/
	/**
	 * 添加到Lucene的List数据库中
	 * @param luceneBeans   lucene的List
	 * @param dirPath 
	 */
	public void writeLucene(List<LuceneBean> luceneBeans){
		IndexWriter indexWriter = null;
		try {
			/**
			 * 第一个参数 :索引库的位置
			 */
			Directory directory = FSDirectory.open(new File(dirPath));
			/**
			 * 第二个参数:分词器
			 */
			Analyzer analyzer =  new IKAnalyzer(); 
			/**
			 * 第三个参数:限制索引库中字段的大小
			 */
			indexWriter = new IndexWriter(directory, analyzer, MaxFieldLength.LIMITED);
			for (int i = 0; i < luceneBeans.size(); i++) {
				LuceneBean luceneBean = luceneBeans.get(i);
				//把article转化成document
				Document document = DocumentUtils.bean2Document(luceneBean);
				//把document加入到索引库中
				indexWriter.addDocument(document);
			}
		} catch (IOException e) {
			e.printStackTrace();
		}finally{
			try {
				indexWriter.close();
			} catch (Exception e) {
				e.printStackTrace();
			} 
		}
	}
	/*-----------------------------------------------------------------------------------------------------------*/
	/**
	 * 添加到Lucene数据库中,单个
	 * @param luceneBeans   lucene
	 * @param dirPath 
	 */
	public boolean writeLucene(LuceneBean luceneBean){
		IndexWriter indexWriter = null;
		try {
			/**
			 * 第一个参数 :索引库的位置
			 */
			Directory directory = FSDirectory.open(new File(dirPath));
			/**
			 * 第二个参数:分词器
			 */
			Analyzer analyzer = new IKAnalyzer();             
			/**
			 * 第三个参数:限制索引库中字段的大小
			 */
			 indexWriter = new IndexWriter(directory, analyzer, MaxFieldLength.LIMITED);
			//把lucene转化成document
			Document document = DocumentUtils.bean2Document(luceneBean);
			//把document加入到索引库中
			indexWriter.addDocument(document);
			return true;
		} catch (IOException e) {
			e.printStackTrace();
			return false;
		}finally{
			try {
				indexWriter.close();
			} catch (Exception e) {
				e.printStackTrace();
			} 
		}
	}
	
/*-----------------------------------------------------------------------------------------------------------*/
	/**
	 * 删除
	 *   不是把原来的cfs文件删除掉了，而是多了一个del文件
	 */
	@Test
	public boolean delete(String id){
		IndexWriter indexWriter = null;
		try {
			/**
			 * 第一个参数 :索引库的位置
			 */
			Directory directory = FSDirectory.open(new File(dirPath));
			/**
			 * 第二个参数:分词器
			 */
			Analyzer analyzer =  new IKAnalyzer(); 
			/**
			 * 第三个参数:限制索引库中字段的大小
			 */
			 indexWriter = new IndexWriter(directory, analyzer, MaxFieldLength.LIMITED);
			 Term term = new Term("id",id);
			 indexWriter.deleteDocuments(term);
			 return true;
		} catch (IOException e) {
			e.printStackTrace();
			return false;
		}finally{
			try {
				indexWriter.close();
			} catch (Exception e) {
				e.printStackTrace();
			}
		}
	}
	
/*-----------------------------------------------------------------------------------------------------------*/

	/**
	 * 修改
	 *    先删除后增加
	 */
	@Test
	public boolean update(LuceneBean luceneBean){
		IndexWriter indexWriter = null;
		try {
			/**
			 * 第一个参数 :索引库的位置
			 */
			Directory directory = FSDirectory.open(new File(dirPath));
			/**
			 * 第二个参数:分词器
			 */
			Analyzer analyzer =  new IKAnalyzer(); 
			/**
			 * 第三个参数:限制索引库中字段的大小
			 */
			 indexWriter = new IndexWriter(directory, analyzer, MaxFieldLength.LIMITED);
			 Term term = new Term("id",luceneBean.getId());
			 //把lucene转化成document
			 Document document = DocumentUtils.bean2Document(luceneBean);
			 indexWriter.updateDocument(term, document);
			 return true;
		} catch (IOException e) {
			e.printStackTrace();
			return false;
		}finally{
			try {
				indexWriter.close();
			} catch (Exception e) {
				e.printStackTrace();
			}
		}
	}
/*-----------------------------------------------------------------------------------------------------------*/
	/**
	 * 查找
	 * @throws Exception
	 */ 
	@Test
	public boolean search(String content,String bankId){
		try {
			 Directory directory = FSDirectory.open(new File(dirPath));
			 IndexSearcher indexSearcher = new IndexSearcher(directory);
			 BooleanQuery booleanQuery = new BooleanQuery();
			 Query query1 = new TermQuery(new Term("bankId", bankId));
			 booleanQuery.add(query1, Occur.MUST);
			 List<String> queryList = getQueryList(content);
			 for (int i = 0; i < queryList.size(); i++) {
				String str = queryList.get(i);
				Query query2 = new TermQuery(new Term("content", str));
				booleanQuery.add(query2, Occur.SHOULD);
			}
			 
			 TopDocs topDocs = indexSearcher.search(booleanQuery, 5);
			 ScoreDoc[] scoreDocs = topDocs.scoreDocs;
			 List<LuceneBean> LuceneBeans = new ArrayList<LuceneBean>();
			 for (ScoreDoc scoreDoc : scoreDocs) {
				int index = scoreDoc.doc;
				Document document = indexSearcher.doc(index);
				LuceneBean LuceneBean = DocumentUtils.document2Bean(document);
				LuceneBeans.add(LuceneBean);
			 }
			 for (LuceneBean lucene : LuceneBeans) {
				System.out.println(lucene.getId());
				System.out.println(lucene.getContent());
				System.out.println(lucene.getBankId());
			}
			 return true;
		} catch (Exception e) {
			e.printStackTrace();
			return false;
		}finally{
			
		}
	}
	
	
/*-----------------------------------------------------------------------------------------------------------*/
	/**
	 * 获取查询的组件
	 * @param content
	 * @return
	 * @throws IOException 
	 */
	public List<String> getQueryList(String content) throws IOException{
		Analyzer analyzer = new IKAnalyzer();
		TokenStream tokenStream = analyzer.tokenStream("", new StringReader(content));
		tokenStream.addAttribute(TermAttribute.class);
		List<String> list = new ArrayList<String>();
		while (tokenStream.incrementToken()) {
			TermAttribute termAttribute = tokenStream.getAttribute(TermAttribute.class);
			list.add(termAttribute.term());
			System.out.println(termAttribute.term());
		}
		System.out.println("-------------------------------------------------");
		tokenStream.end();
		tokenStream.close();
		return list;
	}
	
	
/*-----------------------------------------------------------------------------------------------------------*/
	


}

3、com.xiong.utils.DocementUtil.java

package com.xiong.utils;

import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.Field.Index;
import org.apache.lucene.document.Field.Store;

import com.xiong.bean.LuceneBean;


public class DocumentUtils {
	public static Document bean2Document(LuceneBean luceneBean){
		Document document = new Document();
		Field id =  new Field("id", luceneBean.getId(), Store.YES, Index.NOT_ANALYZED);
		Field content =  new Field("content", luceneBean.getContent(), Store.YES, Index.ANALYZED);
		Field bankId =  new Field("bankId", luceneBean.getBankId(), Store.YES, Index.NOT_ANALYZED);
		//把上面的field放入到document中
		document.add(id);
		document.add(content);
		document.add(bankId);
		return document;
	}
	
	public static LuceneBean document2Bean(Document document){
		LuceneBean luceneBean = new LuceneBean();
		luceneBean.setId(document.get("id"));
		luceneBean.setContent(document.get("content"));
		luceneBean.setBankId(document.get("bankId"));
		return luceneBean;
	}
}

4.com.xiong.Test.java

package com.xiong;

import java.io.IOException;

import com.xiong.lucene.OperateLucene;

public class Test {
	public static void main(String[] args) throws IOException {
//		List<LuceneBean> list = new ArrayList<LuceneBean>();
//		for (int i = 0; i < 20; i++) {
//			LuceneBean luceneBean = new LuceneBean();
//			luceneBean.setId("2018"+i);
//			luceneBean.setContent("我是银行的记录");
//			luceneBean.setBankId(i+"");
//			list.add(luceneBean);
//		}
		OperateLucene operateLucene = new OperateLucene("./DirIndex");
//		operateLucene.writeLucene(list);
//		operateLucene.delete("20182");
//		LuceneBean luceneBean = new LuceneBean();
//		luceneBean.setId("20183");
//		luceneBean.setContent("我是银行的记录哈哈哈");
//		luceneBean.setBankId("3");
//		operateLucene.update(luceneBean);
		operateLucene.search("记录","3");
//		List<String> list = operateLucene.getQueryList("山西省太原市晋源区姚村镇枣园头关道街555号");
//		for (int i = 0; i < list.size(); i++) {
//			System.out.println(list.get(i));
//		}
		
	}
	
}

5.IKAnalyzer.cfg.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">  
<properties>  
	<comment>IK Analyzer 扩展配置</comment>
	<!--用户可以在这里配置自己的扩展字典--> 
	<entry key="ext_dict">/mydict.dic; </entry> 
	 
	 <!--用户可以在这里配置自己的扩展停止词字典
	<entry key="ext_stopwords">/ext_stopword.dic</entry> 
	-->
</properties>

 

全文检索 Lucene
weixin_35994859的博客
02-04 866
全文检索 Lucene 网上学习黑马课程后，在原有笔记的基础上进行总结 课程计划 lucene入门 什么是lucene Lucene的作用 使用场景 优点和缺点 lucene应用 索引流程 搜索流程 field域的使用 索引库维护 分词器 高级搜索实战案例 Lucene高级 Lucene底层存储结构 词典排序算法 Lucene优化 Lucene使用的一些注意事项 1 搜索技术理论基础 1.1 为什么要学习Lucene ​ 原来的方式实现搜索功能，我们的搜索流程如下图： ​ 上
lucene7.5学习笔记（三）文章相似性检索
tczhoulan的专栏
07-16 708
时隔四个月我又回来继续填之前说好要写的关于lucene的坑了，按照之前的安排在第三节中应该是介绍如何通过lucene实现搜索词提示的，但是目前我所实现的搜索词提示过于简单，连基本的根据拼音进行中文提示都无法实现，因此这里我改一下顺序先介绍一下如何通过lucene实现文章的相似性检索。 文章的相似性检索就是对比两篇文章的相似程度，这个功能的应用非常广泛，例如在亚马逊上通过对比得知A和B两本书的十分...
使用lucene对句子进行搜索
wb785074651的博客
05-22 368
在使用lucene创建索引库中，介绍了一些基础的lucene概念，如何用lucene进行像某度一样的句子搜索呢。 private static void selectByQueryParser() throws Exception{ //1.创建一个Directory对象 Directory directory = FSDirectory.open(new File("J:\\storeSpace\\luceneStoreSpace").toPath());
深入解析Lucene全文检索引擎
最新发布
weixin_42356162的博客
06-24 680
在信息时代，信息量呈指数级增长，如何高效地管理和检索这些信息成为了技术领域的重要课题。Apache Lucene作为一个高性能的全文搜索引擎库，广泛应用于各种需要快速实现文本搜索功能的场景中。由于其易于集成、扩展性强的特点，Lucene不仅在IT行业内广泛应用，而且受到了许多企业级应用的青睐。在Lucene的世界里，文档（Document）是索引和搜索的基本单元。每个文档由一个或多个字段（Field）组成，字段是包含具体数据的容器，用于存储文本、数字或者二进制数据等。
Lucene-全文索引
weixin_33889245的博客
06-28 136
最近接触了lucene,我想也有很多人曾经听过，于是带着好奇心，我开始对lucene进行了解，给我影响最深的是它非常多的应用了索引表，这个工具之所以快是就是因为大量引用到了索引表。今天只说下我刚开始做的校历例子，创建索引。 下面对lucene从概念上做个介绍，Lucene是一个信息检索的函数库(Library),利用它你可以为你的应...
全文检索功能（Lucene）
weixin_44641846的博客
07-16 1263
Lucene：全文检索技术 概念：先创建索引，然后再对索引搜索的过程就是全文检索技术； 索引一次创建多次使用，表现为每次的查询速度很快。 索引：一个为了提高查询速度，创建某种数据结构的集合。 数据的分类： 结构化数据：格式、长度、数据类型固定 例如数据库的数据， 非结构化数据：格式、长度、数据类型不固定 word文档、pdf文档等等 数据的查询 结构化数据的查询：sql语句 简单、查询速度快 非结构化数据：查询某个关键字？ 条件复杂，查询难度大 顺序扫描法 字符串匹配（顺序扫
Lucene全文检索
龙源IT 的博客
11-19 1829
全文检索：将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定结构，然后对此有一定结构的数据进行搜索，从而达到搜索相对较快的目的。这部分从非结构化数据中提取出的然后重新组织的信息，我们称之索引。而这种先建立索引，在对索引进行搜索的过程
Lucene多线程创建索引及多目录下查询索引
富士山不可私有，你捉摸不透。
04-29 3428
目的：公司最近要求建立对数据库内多表的索引文件，来实现对数据库数据处理的全文检索。 表有多个，内容风别是不同表内的字段。选用了IK分词和Lucene实现。 多线程创建索引 多区域联合查询索引
Lucene+分词器精确提取用户自定义关键词(Lucene版本3.6)
热门推荐
EchoYY的博客
10-20 1万+
Lucene+分词器精确提取用户自定义关键词
掌握搜索引擎核心技术：Lucene API手册详解
” 这句话揭示了Lucene作为搜索引擎基础设施的重要地位。在互联网时代，搜索引擎的效率和准确性至关重要。一个基于Lucene构建的搜索引擎能够快速建立索引，并能高效检索到相关信息。事实上，许多流行的搜索引擎和...
一年实战回顾：运用大语言模型打造产品的心得与启示
2301_82000445的博客
08-14 1011
现在是使用大语言模型 (LLMs) 构建产品的激动人心的时刻。在过去的一年中，LLMs 的表现已经“足够好”可以应用于现实世界。LLMs 改进的速度，加上社交媒体上的大量演示，将推动预计到 2025 年 AI 投资达到 2000 亿美元。LLMs 的广泛可用性，让每个人，而不仅仅是机器学习工程师和科学家，都能在他们的产品中构建智能。虽然构建 AI 产品的门槛已经降低，但要创建那些不仅仅是演示效果好的产品，仍然充满挑战。
Lucene---全文检索(文档pdf/txt/office/html)
03-20
NULL 博文链接：https://wuquanyin1011.iteye.com/blog/799342
全文检索之Lucene
weixin_49741990的博客
02-21 332
全文检索之Lucene 什么是全文检索 数据分类 我们生活中的数据总体分为两种：结构化数据和非结构化数据。 ​ 结构化数据：指具有固定格式或有限长度的数据，如数据库，元数据等。 ​ 非结构化数据：指不定长或无固定格式的数据，如邮件，word 文档等磁盘上的文件 结构化数据搜索 常见的结构化数据也就是数据库中的数据。 ​ 在数据库中搜索很容易实现，通常都是使用 sql语句进行查询，而且能很快的得到查询结果。 为什么数据库搜索很容易？ ​ 因为数据库中的数据存储是有规律的，有行有列而且数据格式、数据长度都是固
lucene入门学习
yanghao201607030101的博客
08-04 253
全部笔记以及相关的依赖包，配置，项目等项目中也有依赖和扩展词库与配置文件。 链接：https://pan.baidu.com/s/133EkTSWEn-ohtaqLbzufUA 提取码：9i44 Lucene是apache下的一个开放源代码的全文检索引擎工具包。提供了完整的查询引擎和索引引擎，部分文本分析引擎。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能。 全文检索(Full-text Search) 将非结构化数据中的一部分信息提取出来，重新组织，使其
Lucene（全文检索技术）教程
huzecom的博客
10-08 1372
1.什么是全文检索 1.1数据分类 我们生活中的数据总体分为两种：结构化数据和非结构化数据。 结构化数据：指具有固定格式或有限长度的数据，如数据库，元数据等。 非结构化数据：指不定长或无固定格式的数据，如邮件，word文档等磁盘上的文件 1.2结构化数据搜索 常见的结构化数据也就是数据库中的数据。在数据库中搜索很容易实现，通常都是使用sql语句进行查询，而且能很快的得到查询...
Lucene
weixin_43844237的博客
12-06 226
1. 全文搜索是什么？ 从全文数据中进行检索就叫全文检索(全文搜索)。是基于文本的搜索。 结构化数据：指具有“固定格式”或“有限长度”的数据，如数据库，元数据等; 非结构化数据：指不定长或无固定格式的数据，如邮件，word文档等; 半结构化数据，如XML，HTML等，当根据需要可按结构化数据来处理，也可抽取出纯文本按非结构化数据来处理。 2. 全文检索 非结构化数据顺序扫描很慢，对结构化数据的搜索...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值