Lucene的简介与入门

Lucene是一个Apache开源的全文检索引擎工具包,常用于实现非结构化数据的快速搜索。它提供了索引和查询引擎,适用于数据量大、结构不固定的数据场景,如搜索引擎和站内搜索。Lucene实现全文检索的流程包括创建索引、构建文档对象、内容分词、存储索引以及查询索引。分析器在分词过程中起关键作用,例如按空格分词、处理大小写、去除停用词等。案例中展示了如何配置开发环境、创建和查询索引。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、什么是全文检索

1.数据分类
  • 结构化数据

指具有固定格式有限长度的数据,如Oracle或Mysql中的数据。
使用SQL语句查询结构化数据,速度快
数据量大时,可以在数据库中建立索引,但此时创建的索引不支持模糊查询,需要创建另外一套索引库。

  • 非结构化数据

指不定长度和固定格式的数据,如邮件、word文档等磁盘上的文件。

2.结构化数据搜索

常见的结构化数据也就是数据库只能够的数据。在数据库中搜索很容易实现,通常都是使用sql语句进行查询,而且能够很快的得到查询结果。

  • 为什么数据库搜索很容易呢?

因为数据库中的数据存储是有规律的,有行有列而且数据格式,数据长度都是固定的

3.非结构化数据搜索的方法
  • 顺序扫描法

所谓的顺序检索,就是在查找某一个字符串文件时,会一个一个文档去一一查看,对于每一个文档都会从头看到尾,直到找到某文档包含该字符串,则返回此文档,速度是相当的慢。

  • 全文检索

将非结构化数据中的一部分信息提取出来,重新组织,使其变得有一定的结构,然后对此有一定结构的数据进行搜索,从而达到搜索相对较快的目的。
这种先建立索引,再对索引进行搜索的过程叫做全文搜索

4.如何实现全文检索

Lucene是apache下的一个开放源代码的全文检索引擎工具包。提供了完整的查询引擎和索引引擎,部分文本分析引擎,Lucene的目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能。

5.全文检索的应用场景
  • 对于数据量大、数据结构不固定的数据 可采用全文检索的方式搜索
  • 比如百度、搜狗、360、论坛站内搜索、京东、淘宝、电商网站站内搜索等等。

二、Lucene实现全文检索

1.Lucene实现全文检索的流程

在这里插入图片描述

  • 1.绿色表示索引过程,对要搜索的原始内容进行索引构建一个索引库,索引过程包括

确定原始内容–>采集文档–>创建文档–>分析文档–>索引文档

  • 2.红色表示搜索过程,从索引库中搜索内容,搜索过程包括

用户通过搜索界面–>创建查询–>执行搜索–>渲染搜索结果

2.Lucene实现全文检索的流程2
1)创建索引
  • 获取源文档
    • 什么是源文档?

    场景一:搜索引擎:指的是互联网上的所有网页
    场景二:站内搜索:指的是磁盘上的文件或表中的数据

    • 获取源文档的方式?

    场景一:搜索引擎:网络爬虫
    场景二:站内搜索:IO流、SQL查询

2)构建文档对象

一个Document对象中放的是:一个网页内容、一个文件内容、或表中某行某列的数据、

3)对内容进行分词
  • ①、一个文件包含的信息:
    document
    1、文件名称
    2、文件大小
    3、文件路径
    4、文件内容
  • ②、一个网页包含的信息:
    document
    1、网络地址URL
    2、网页标题
    3、网页内容
  • ③、一条数据包含的信息:
    document
    一条数据每个列的内容
    有多少列就应该创建多少个域
  • 分词效果:
    原内容:The Spring Framework provides a comprehensive programming and configuration model.
  • 分词的处理方式:
    1、按空格分词
    2、处理大小写
    3、停用词
    4、标点符号
  • 最后的效果:
    term
    name:spring
    content:spring
    content:framework
    content:provides
    content:comprehensive
    content:programming
    content:configuration
    content:model
4)创建索引(存储)
  • 分词后的格式:
    name: spring

自定义的域名称、spring是此域中的值、name: spring就是一个词汇term
一个文档中可以有多个域,不同的文档可以有不同的域
创建索引是对语汇单元索引,通过词语找文档,这种索引的结构叫做倒排索引结构,比如新华字典。

查询索引

1)用户查询接口:就是用户输入关键字的位置
2)创建查询
3)执行查询
4)渲染结果

三、Lucene入门案例

1.配置开发环境
  • 不需要什么安装,只需要在创建项目时导入一下相应的jar包即可。
  • lucene-core-4.10.3.jar
  • lucene-analyzers-common-4.10.3.jar
  • commons-io.jar
    在这里插入图片描述
    导入以上几个jar包即可,普通的Java项目。
  • 创建索引库 : indexRepo
  • 创建被创建的文档库: searchsource
2.创建索引

场景:给磁盘的文件创建索引
步骤:

1、指定索引库位置   Directory
2、创建写入索引的对象   IndexWriter
3、获取源文档IO流
4、把文档写入索引库  indexWriter.addDocument(doc);
5、关闭资源IndexWriter
package com.lucene.demo;
import java.io.File;
import java.io.IOException;
import org.apache.commons.io.FileUtils;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.Field.Store;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.util.Version;

public class IndexWriterTest {
public static void main(String[] args) throws IOException {
	// 1.指定索引库位置
	Directory directory = FSDirectory.open(new File("/Users/xiayubao/Desktop/indexRepo"));
	// 创建一个 标准的分词器
	Analyzer analyzer = new StandardAnalyzer();
	// 第二个参数,分析器对象
	IndexWriterConfig config = new IndexWriterConfig(Version.LATEST, analyzer);
	// 2.创建写入索引IndexWriter对象
	IndexWriter indexWriter = new IndexWriter(directory, config);
	// 3.获取源文档
	File srcFile = new File("/Users/xiayubao/Desktop/searchsource");

	File[] listFiles = srcFile.listFiles();

	for (File file : listFiles) {
		Document doc = new Document();
		// 获取文件名称
		String fileName = file.getName();
		// 创建文件名域
		// 第一个参数:域的名称
		// 第二个参数:域的内容
		// 第三个参数:是否存储
		Field nameFiled = new TextField("name", fileName, Store.YES);
		doc.add(nameFiled);

		// 获取文件大小
		long fileSize = FileUtils.sizeOf(file);
		Field sizeField = new TextField("size", fileSize + "", Store.YES);
		doc.add(sizeField);

		// 获取文件路径
		String filePath = file.getPath();
		Field PathField = new TextField("path", filePath, Store.YES);
		doc.add(PathField);

		// 获取文件内容
		String fileContent = FileUtils.readFileToString(file);
		Field contentField = new TextField("content", fileContent, Store.YES);
		doc.add(contentField);

		// 4.把文档写入索引库
		indexWriter.addDocument(doc);

	}
	// 5.关闭资源indexWriter
	indexWriter.close();
}
}

使用luke工具查看索引文件
在这里插入图片描述

3.查询索引
1.查询索引实现步骤
1、指定索引库的位置 Directory
2、创建读取索引对象 IndexWriter
3、创建查询索引对象 IndexSearcher
4、执行查询方法  search方法
5、获取查询结果 TopDocs
6、关闭资源IndexWriter
package com.lucene.demo;
import java.io.File;
import java.io.IOException;
import org.apache.lucene.document.Document;
import org.apache.lucene.index.DirectoryReader;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.index.Term;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TermQuery;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;

public class IndexReaderTest {
public static void main(String[] args) throws IOException {
	// 指定索引库位置
	Directory directory = FSDirectory.open(new File("/Users/xiayubao/Desktop/indexRepo"));
	// 创建读取索引对象IndexReader
	IndexReader indexReader = DirectoryReader.open(directory);
	// 创建查询索引对象
	IndexSearcher indexsearcher = new IndexSearcher(indexReader);
	// 创建查询,指定条件,查询数据量的限制
	Query query = new TermQuery(new Term("content", "spring"));
	// 执行查询,第一个参数是查询对象,第二个参数是查询结果返回的最大值
	TopDocs topDocs = indexsearcher.search(query, 10);
	// 查询结果的总记录数
	System.out.println("总记录数:" + topDocs.totalHits);

	// 遍历查询结果
	ScoreDoc[] scoreDocs = topDocs.scoreDocs;
	for (ScoreDoc scoreDoc : scoreDocs) {
		//scoreDoc.doc属性就是document对象的ID
		int docID = scoreDoc.doc;
		//根据document的ID找到document对象
		Document doc = indexsearcher.doc(docID);
		// 获取文档的内容
		System.out.println("文件名:" + doc.get("name"));
		System.out.println("文件大小" + doc.get("size"));
		System.out.println("文件路径" + doc.get("path"));
		//System.out.println("文件内容" + doc.get("content"));

	}
	// 关闭资源indexReader对象
	indexReader.close();
}
}

三、分词器的使用

1.分析器(Analyzer)的执行过程
2.lucene自带的分析器的分词效果
package com.lucene.demo;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;

public class AnalyzerTest {
	public static void main(String[] args) throws Exception {
		//英文按照空格分词,中文一个字一个字分词效果
		Analyzer analyzer = new StandardAnalyzer();
		//获取TokenStream对象,第一个参数:域名,随便起。第二个参数:要分析的文本内容
		TokenStream tokenStream=analyzer.tokenStream("test", "The Java Spring MyBatis Hibernate SpringMVC Jedis so is very easy ");
		//添加一个引用.可以获得每个关键词
		CharTermAttribute charTermAttribute=tokenStream.addAttribute(CharTermAttribute.class);
		//将指针调整到列表的头部
		tokenStream.reset();
		//遍历关键词列表,通过incrementToken方法判断列表是否结束
		while (tokenStream.incrementToken()) {
			System.out.println(charTermAttribute);
		}
	}
}
JFM7VX690T型SRAM型现场可编程门阵列技术手册主要介绍的是上海复旦微电子集团股份有限公司(简称复旦微电子)生产的高性能FPGA产品JFM7VX690T。该产品属于JFM7系列,具有现场可编程特性,集成了功能强大且可以灵活配置组合的可编程资源,适用于实现多种功能,如输入输出接口、通用数字逻辑、存储器、数字信号处理和时钟管理等。JFM7VX690T型FPGA适用于复杂、高速的数字逻辑电路,广泛应用于通讯、信息处理、工业控制、数据中心、仪表测量、医疗仪器、人工智能、自动驾驶等领域。 产品特点包括: 1. 可配置逻辑资源(CLB),使用LUT6结构。 2. 包含CLB模块,可用于实现常规数字逻辑和分布式RAM。 3. 含有I/O、BlockRAM、DSP、MMCM、GTH等可编程模块。 4. 提供不同的封装规格和工作温度范围的产品,便于满足不同的使用环境。 JFM7VX690T产品系列中,有多种型号可供选择。例如: - JFM7VX690T80采用FCBGA1927封装,尺寸为45x45mm,使用锡银焊球,工作温度范围为-40°C到+100°C。 - JFM7VX690T80-AS同样采用FCBGA1927封装,但工作温度范围更广,为-55°C到+125°C,同样使用锡银焊球。 - JFM7VX690T80-N采用FCBGA1927封装和铅锡焊球,工作温度范围JFM7VX690T80-AS相同。 - JFM7VX690T36的封装规格为FCBGA1761,尺寸为42.5x42.5mm,使用锡银焊球,工作温度范围为-40°C到+100°C。 - JFM7VX690T36-AS使用锡银焊球,工作温度范围为-55°C到+125°C。 - JFM7VX690T36-N使用铅锡焊球,工作温度范围JFM7VX690T36-AS相同。 技术手册中还包含了一系列详细的技术参数,包括极限参数、推荐工作条件、电特性参数、ESD等级、MSL等级、重量等。在产品参数章节中,还特别强调了封装类型,包括外形图和尺寸、引出端定义等。引出端定义是指对FPGA芯片上的各个引脚的功能和接线规则进行说明,这对于FPGA的正确应用和电路设计至关重要。 应用指南章节涉及了FPGA在不同应用场景下的推荐使用方法。其中差异说明部分可能涉及产品之间的性能差异;关键性能对比可能包括功耗速度对比、上电浪涌电流测试情况说明、GTH Channel Loss性能差异说明、GTH电源性能差异说明等。此外,手册可能还提供了其他推荐应用方案,例如不使用的BANK接法推荐、CCLK信号PCB布线推荐、JTAG级联PCB布线推荐、系统工作的复位方案推荐等,这些内容对于提高系统性能和稳定性有着重要作用。 焊接及注意事项章节则针对产品的焊接过程提供了指导,强调焊接过程中的注意事项,以确保产品在组装过程中的稳定性和可靠性。手册还明确指出,未经复旦微电子的许可,不得翻印或者复制全部或部分本资料的内容,且不承担采购方选择使用本文描述的产品和服务的责任。 上海复旦微电子集团股份有限公司拥有相关的商标和知识产权。该公司在中国发布的技术手册,版权为上海复旦微电子集团股份有限公司所有,未经许可不得进行复制或传播。 技术手册提供了上海复旦微电子集团股份有限公司销售及服务网点的信息,方便用户在需要时能够联系到相应的服务机构,获取最新信息和必要的支持。同时,用户可以访问复旦微电子的官方网站(***以获取更多产品信息和公司动态。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值