ES底层之Lucenne初识

最新推荐文章于 2025-02-03 20:35:00 发布
原创 最新推荐文章于 2025-02-03 20:35:00 发布 · 541 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#es #lucenne

本文介绍了全文检索技术，特别是Lucene的实现流程。Lucene是Apache的一个开放源代码全文检索引擎工具包，用于实现快速的全文检索。文章详细讲解了Lucene如何处理结构化和非结构化数据，以及索引和搜索过程。此外，还涵盖了Lucene的配置、入门程序、分析器的分析过程以及索引库的维护和查询方法。

全文检索技术Lucene

1. 什么是全文检索
1.1 数据分类
  • 结构化数据: 指具有固定格式或有限长度的数据, 如数据库, 元数据等;
  • 非结构化数据: 指不定长或无固定格式的数据, 如邮件,word文档等磁盘上的文件;
1.2 结构化数据搜索
  • 如sql语句查询,
    • 为什么数据库查询快呢? 因为有规律,有行有列而且数据格式, 数据长度都是固定的;
1.3 非结构化数据查询方法
  • 顺序扫描法(Serial Scanning)
    • 比如要找内容包含某一个字符串的文件,就是一个文档一个文档的看,对于每一个文档,从头看到尾,如果此文档包含此字符串,则此文档为我们要找的文件,接着看下一个文件,直到扫描完所有的文件, 如利用windows的搜索也可以搜索文件内容,只是相当的慢
  • 全文检索(Full-text Search)
    • 将非结构化数据中的一部分信息提取出来,重新组织,使其变得有一定结构,然后对此有一定结构的数据进行搜索，从而达到搜索相对较快的目的。这部分从非结构化数据中提取出的然后重新组织的信息，我们称之索引。
      • 比如字典,字典的拼音表和部首检字表就相当于字典的索引;
    • 这种先建立索引，再对索引进行搜索的过程就叫全文检索(Full-text Search)。
1.4 如何实现全文检索
  • 使用Lucene实现全文检索; Lucene是apache下的一个开放源代码的全文检索引擎工具包。提供了完整的查询引擎和索引引擎，部分文本分析引擎。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能。
1.5 全文检索的应用场景
  • 对于数据量大,数据结构不固定的数据可采用全文检索方式搜索;比如百度、Google等搜索引擎、论坛站内搜索、电商网站站内搜索等。
2. Lucene实现全文检索的流程
2.1 索引和搜索流程图

在这里插入图片描述

  • 绿色表示索引过程，对要搜索的原始内容进行索引构建一个索引库，索引过程包括：

    确定原始内容即要搜索的内容–>采集文档–>创建文档–>分析文档–>索引文档

  • 红色表示搜索过程，从索引库中搜索内容，搜索过程包括：

    用户通过搜索界面–>创建查询–>执行搜索，从索引库搜索–>渲染搜索结果

2.2 创建索引
  • 对文档索引的过程，将用户要搜索的文档内容进行索引，索引存储在索引库（index）中。这里我们要搜索的文档是磁盘上的文本文件，根据案例描述：凡是文件名或文件内容包括关键字的文件都要找出来，这里要对文件名和文件内容创建索引。
    • 获得原始文档: 原始文档是指索引和搜索的内容;原始内容包括互联网上的网页, 数据库中的数据, 磁盘上的文档等;
      • 从互联网上、数据库、文件系统中等获取需要搜索的原始信息，这个过程就是信息采集，信息采集的目的是为了对原始内容进行索引。
      • 在Internet上采集信息的软件通常称为爬虫或蜘蛛，也称为网络机器人，爬虫访问互联网上的每一个网页，将获取到的网页内容存储起来。
    • 创建文档对象: 获取原始内容的目的是为了索引，在索引前需要将原始内容创建成文档（Document），文档中包括一个一个的域（Field），域中存储内容。
      • 可以将磁盘上的一个文件当成一个document，Document中包括一些Field（file_name文件名称、file_path文件路径、file_size文件大小、file_content文件内容）
      • 每个Document可以有多个Field，不同的Document可以有不同的Field，同一个Document可以有相同的Field（域名和域值都相同); 每个文档都有一个唯一的编号，就是文档id。
        在这里插入图片描述
    • 分析文档: 将原始内容创建为包含域（Field）的文档（document），需要再对域中的内容进行分析，分析的过程是经过对原始文档提取单词、将字母转为小写、去除标点符号、去除停用词等过程生成最终的语汇单元，可以将语汇单元理解为一个一个的单词。
      • 每个单词叫做一个Term,不同的域中拆分出来的相同的单词是不同的term; term中包含两部分, 一部分是文档的域名,另一部分是单词的内容;
    • 创建索引: 对所有文档分析得出的语汇单元进行索引,索引的目的是为了搜索,最终要实现只搜索被索引的语汇单元从而找到Document(文档);
      • 创建索引是对语汇单元索引, 通过词语找文档, 这种索引的结构叫倒排索引结构;
      • 传统方法是根据文件找到该文件的内容,在文件内容中匹配搜索关键字,这种方法是顺序扫描方法,数据量大,搜索慢;
      • 倒排索引结构是根据内容(词语)找文档, 如图
        在这里插入图片描述
        • 倒排索引结构也叫反向索引结构,包括索引和文档两部分,索引即词汇表,它的规模较小,而文档集合较大;
2.3 查询索引
  • 查询索引也是搜索的过程。搜索就是用户输入关键字，从索引（index）中进行搜索的过程。根据关键字搜索索引，根据索引找到对应的文档，从而找到要搜索的内容（这里指磁盘上的文件）。
    • 用户查询接口:
      • 全文检索系统提供用户搜索的界面供用户提交搜索的关键字，搜索完成展示搜索结果
      • Lucene不提供制作用户搜索界面的功能,需要根据自己的需求开发搜索界面;
    • 创建查询
      • 用户输入查询关键字执行搜索之前需要先构建一个查询对象,查询对象中可以指定查询要搜索的Field文档域, 查询关键字等, 查询对象会生成具体的查询语法;
      • 比如: 语法 “fileName:lucene” 表示要搜索Field域的内容为"lucene"的文档;
    • 执行查询
      • 搜索索引过程
        • 根据查询语法在倒排索引词典表中分布找出对应搜索词的索引, 从而找到索引所链接的文档链表;比如:
          • 搜索语法为:"fileName:lucene"表示搜索出fileName域中包含lucene的文档
          • 搜索过程就是在索引上查找域为fileName, 并且关键字为lucene的term,并根据term找到文档id列表;
    • 渲染结果
      • 以一个友好的界面将查询结果展示给用户，用户根据搜索结果找自己想要的信息，为了帮助用户很快找到自己的结果，提供了很多展示的效果，比如搜索结果中将关键字高亮显示，百度提供的快照等;
3. 配置开发环境
3.1 Lucene下载

  • Lucene是开发全文检索功能的工具包，从官方网站下载lucene-7.4.0，并解压

  • 官方网站：http://lucene.apache.org/

    版本：lucene-7.4.0

    Jdk要求：1.8以上

在这里插入图片描述

3.2 使用的jar包
  • lucene-core-7.4.0.jar
  • lucene-analyzers-common-7.4.0.jar
  • commons-io-2.6.jar
4. 入门程序
4.1 需求

  • 实现一个文件的搜索功能，通过关键字搜索文件，凡是文件名或文件内容包括关键字的文件都需要找出来。还可以根据中文词语进行查询，并且需要支持多个条件查询。

    本案例中的原始内容就是磁盘上的文件，如下图：

在这里插入图片描述

4.2 创建索引
//创建索引
@Test
public void createIndex() throws Exception {

    //指定索引库存放的路径
    //D:\temp\index
    Directory directory = FSDirectory.open(new File("D:\\temp\\index").toPath());
    //索引库还可以存放到内存中
    //Directory directory = new RAMDirectory();
    //创建indexwriterCofig对象
    IndexWriterConfig config = new IndexWriterConfig();
    //创建indexwriter对象
    IndexWriter indexWriter = new IndexWriter(directory, config);
    //原始文档的路径
    File dir = new File("D:\\temp\\searchsource");
    for (File f : dir.listFiles()) {
        //文件名
        String fileName = f.getName();
        //文件内容
        String fileContent = FileUtils.readFileToString(f);
        //文件路径
        String filePath = f.getPath();
        //文件的大小
        long fileSize  = FileUtils.sizeOf(f);
        //创建文件名域
        //第一个参数：域的名称
      //第二个参数：域的内容
        //第三个参数：是否存储
        Field fileNameField = new TextField("filename", fileName, Field.Store.YES);
        //文件内容域
        Field fileContentField = new TextField("content", fileContent, Field.Store.YES);
        //文件路径域（不分析、不索引、只存储）
        Field filePathField = new TextField("path", filePath, Field.Store.YES);
        //文件大小域
        Field fileSizeField = new TextField("size", fileSize + "", Field.Store.YES);

        //创建document对象
        Document document = new Document();
        document.add(fileNameField);
        document.add(fileContentField);
        document.add(filePathField);
        document.add(fileSizeField);
        //创建索引，并写入索引库
        indexWriter.addDocument(document);
    }
    //关闭indexwriter
    indexWriter.close();
}
4.3 查询索引
//查询索引库
@Test
public void searchIndex() throws Exception {
    //指定索引库存放的路径
    //D:\temp\index
    Directory directory = FSDirectory.open(new File("D:\\temp\\index").toPath());
    //创建indexReader对象
    IndexReader indexReader = DirectoryReader.open(directory);
    //创建indexsearcher对象
    IndexSearcher indexSearcher = new IndexSearcher(indexReader);
    //创建查询
    Query query = new TermQuery(new Term("filename", "apache"));
    //执行查询
    //第一个参数是查询对象，第二个参数是查询结果返回的最大值
    TopDocs topDocs = indexSearcher.search(query, 10);
    //查询结果的总条数
    System.out.println("查询结果的总条数："+ topDocs.totalHits);
    //遍历查询结果
    //topDocs.scoreDocs存储了document对象的id
    for (ScoreDoc scoreDoc : topDocs.scoreDocs) {
        //scoreDoc.doc属性就是document对象的id
        //根据document的id找到document对象
        Document document = indexSearcher.doc(scoreDoc.doc);
        System.out.println(document.get("filename"));
        //System.out.println(document.get("content"));
        System.out.println(document.get("path"));
        System.out.println(document.get("size"));
        System.out.println("-------------------------");
    }
    //关闭indexreader对象
    indexReader.close();
}
5. 分析器的分析过程
5.1 分析器的分词效果
@Test
public void testTokenStream() throws Exception {
    //创建一个标准分析器对象
    Analyzer analyzer = new StandardAnalyzer();
    //获得tokenStream对象
    //第一个参数：域名，可以随便给一个
    //第二个参数：要分析的文本内容
    TokenStream tokenStream = analyzer.tokenStream("test", "The Spring Framework provides a comprehensive programming and configuration model.");
    //添加一个引用，可以获得每个关键词
    CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);
    //添加一个偏移量的引用，记录了关键词的开始位置以及结束位置
    OffsetAttribute offsetAttribute = tokenStream.addAttribute(OffsetAttribute.class);
    //将指针调整到列表的头部
    tokenStream.reset();
    //遍历关键词列表，通过incrementToken方法判断列表是否结束
    while(tokenStream.incrementToken()) {
        //关键词的起始位置
        System.out.println("start->" + offsetAttribute.startOffset());
        //取关键词
        System.out.println(charTermAttribute);
        //结束位置
        System.out.println("end->" + offsetAttribute.endOffset());
    }
    tokenStream.close();
}
5.2 中文分析器

  • Lucene自带中文分词器

    • StandardAnalyzer 单字分词
      • 就是按照中文一个字一个字地进行分词;
    • SmartChineseAnalyzer
      • 对中文支持较好,但扩展性差,扩展词库,禁用词库和同义词库等不好处理

  • IKAnalyzer

    • 4个文件为

      • jar包: IK-Analyzer-1.0-SNAPSHOT.jar
      • 扩展词典hotword.dic:在文件中添加词汇可以
      • 停用词典stopword.dic
      • 配置文件IKAnalyzer.cfg.xml

    • 配置文件和词典放在classpath下

      • hotword.dic和ext_stopword.dic文件的格式为UTF-8，注意是无BOM 的UTF-8 编码。

        也就是说禁止使用windows记事本编辑扩展词典文件

5.3 使用自定义分析器
@Test
public void addDocument() throws Exception {
    //索引库存放路径
    Directory directory = FSDirectory.open(new File("D:\\temp\\index").toPath());
    IndexWriterConfig config = new IndexWriterConfig(new IKAnalyzer());
    //创建一个indexwriter对象
    IndexWriter indexWriter = new IndexWriter(directory, config);
 //原始文档的路径
    File dir = new File("D:\\temp\\searchsource");
    for (File f : dir.listFiles()) {
        //文件名
        String fileName = f.getName();
        //文件内容
        String fileContent = FileUtils.readFileToString(f);
        //文件路径
        String filePath = f.getPath();
        //文件的大小
        long fileSize  = FileUtils.sizeOf(f);
        //创建文件名域
        //第一个参数：域的名称
      	//第二个参数：域的内容
        //第三个参数：是否存储
        Field fileNameField = new TextField("filename", fileName, Field.Store.YES);
        //文件内容域
        Field fileContentField = new TextField("content", fileContent, Field.Store.YES);
        //文件路径域（不分析、不索引、只存储）
        Field filePathField = new TextField("path", filePath, Field.Store.YES);
        //文件大小域
        Field fileSizeField = new TextField("size", fileSize + "", Field.Store.YES);

        //创建document对象
        Document document = new Document();
        document.add(fileNameField);
        document.add(fileContentField);
        document.add(filePathField);
        document.add(fileSizeField);
        //创建索引，并写入索引库
        indexWriter.addDocument(document);
    }
    //关闭indexwriter
    indexWriter.close();
}
6. 索引库维护
6.1 索引库的添加

  • Field域的属性

    • 是否分析：是否对域的内容进行分词处理。前提是我们要对域的内容进行查询。

    • 是否索引：将Field分析后的词或整个Field值进行索引，只有索引方可搜索到。

      比如：商品名称、商品简介分析后进行索引，订单号、身份证号不用分析但也要索引，这些将来都要作为查询条件

    • 是否存储：将Field值存储在文档中，存储在文档中的Field才可以从Document中获取,比如：商品名称、订单号，凡是将来要从Document中获取的Field都要存储

    • 是否存储的标准：是否要将内容展示给用户

      Field类数据类型AnalyzedIndexedStored说明
      StringField(Field Name, Field Value, Store.YES)字符串NYY或N这个Field用来构建一个字符串Field,但是不会进行分析,会将整个串存储在索引中,比如(订单号,姓名等)是否存储在文档中用Store.YES或Store.NO决定
      LongPoint(String name, long… point)LongYYN可以使用LongPoint,IntPoint等类型存储数值类型的数据;让数值类型可以进行索引;但是不能存储数据,如果想存储数据还需要使用StoredField;
      StoredField(FieldName, FieldValue)重载方法,支持多种类型NNY用来构建不同类型Field不分析,不索引,但是Field存储在文档中
      TextField(FieldName, FieldValue, Store.NO)或TextField(FieldName,reader)字符串或流YYY或N如果是一个Reader,lucene猜测内容比较多,会采用Unstored的策略

  • 添加文档代码实现

 //添加索引
 @Test
public void addDocument() throws Exception {
     //索引库存放路径
     Directory directory = FSDirectory.open(new File("D:\\temp\\index").toPath());
     IndexWriterConfig config = new IndexWriterConfig(new IKAnalyzer());
     //创建一个indexwriter对象
     IndexWriter indexWriter = new IndexWriter(directory, config);
     //创建一个Document对象
     Document document = new Document();
     //向document对象中添加域。
     //不同的document可以有不同的域，同一个document可以有相同的域。
     document.add(new TextField("filename", "新添加的文档", Field.Store.YES));
     document.add(new TextField("content", "新添加的文档的内容", Field.Store.NO));
     //LongPoint创建索引
     document.add(new LongPoint("size", 1000l));
     //StoreField存储数据
     document.add(new StoredField("size", 1000l));
     //不需要创建索引的就使用StoreField存储
     document.add(new StoredField("path", "d:/temp/1.txt"));
     //添加文档到索引库
     indexWriter.addDocument(document);
     //关闭indexwriter
     indexWriter.close();
 
 }
6.2 索引库删除
//删除全部索引
	@Test
	public void deleteAllIndex() throws Exception {
		IndexWriter indexWriter = getIndexWriter();
		//删除全部索引
		indexWriter.deleteAll();
		//关闭indexwriter
		indexWriter.close();
	}
//根据查询条件删除索引
	@Test
	public void deleteIndexByQuery() throws Exception {
		IndexWriter indexWriter = getIndexWriter();
		//创建一个查询条件
		Query query = new TermQuery(new Term("filename", "apache"));
		//根据查询条件删除
		indexWriter.deleteDocuments(query);
		//关闭indexwriter
		indexWriter.close();
	}
6.3 索引库的修改
  • 原理就是先删除后添加。
//修改索引库
@Test
public void updateIndex() throws Exception {
    IndexWriter indexWriter = getIndexWriter();//自己抽取的方法
    //创建一个Document对象
    Document document = new Document();
    //向document对象中添加域。
    //不同的document可以有不同的域，同一个document可以有相同的域。
    document.add(new TextField("filename", "要更新的文档", Field.Store.YES));
    document.add(new TextField("content", " Lucene 简介 Lucene 是一个基于 Java 的全文信息检索工具包," + "它不是一个完整的搜索应用程序,而是为你的应用程序提供索引和搜索功能。",Field.Store.YES));
    indexWriter.updateDocument(new Term("content", "java"), document);
    //关闭indexWriter
    indexWriter.close();
}
7. Lucene索引库查询
  • 对要搜索的信息创建Query查询对象，Lucene会根据Query查询对象生成最终的查询语法，类似关系数据库Sql语法一样Lucene也有自己的查询语法，比如：“name:lucene”表示查询Field的name为“lucene”的文档信息。
    • 可通过两种方法创建查询对象：
      • 使用Lucene提供Query子类
      • 使用QueryParse解析查询表达式
7.1 TermQuery

  • TermQuery，通过项查询，TermQuery不使用分析器所以建议匹配不分词的Field域查询，比如订单号、分类ID号等。指定要查询的域和要查询的关键词。

    //使用Termquery查询
@Test
public void testTermQuery() throws Exception {
    Directory directory = FSDirectory.open(new File("D:\\temp\\index").toPath());
    IndexReader indexReader = DirectoryReader.open(directory);
    IndexSearcher indexSearcher = new IndexSearcher(indexReader);
    
    //创建查询对象
    Query query = new TermQuery(new Term("content", "lucene"));
    //执行查询
    TopDocs topDocs = indexSearcher.search(query, 10);
    //共查询到的document个数
    System.out.println("查询结果总数量：" + topDocs.totalHits);
    //遍历查询结果
    for (ScoreDoc scoreDoc : topDocs.scoreDocs) {
        Document document = indexSearcher.doc(scoreDoc.doc);
        System.out.println(document.get("filename"));
        //System.out.println(document.get("content"));
        System.out.println(document.get("path"));
        System.out.println(document.get("size"));
    }
    //关闭indexreader
    indexSearcher.getIndexReader().close();
}
7.2 数值范围查询
@Test
public void testRangeQuery() throws Exception {
    IndexSearcher indexSearcher = getIndexSearcher();
    Query query = LongPoint.newRangeQuery("size", 0l, 10000l);
    printResult(query, indexSearcher);
}
7.3 使用queryparser查询

  • 通过QueryParser也可以创建Query，QueryParser提供一个Parse方法，此方法可以直接根据查询语法来查询。Query对象执行的查询语法可通过System.out.println(query);查询。

    需要使用到分析器。建议创建索引时使用的分析器和查询索引时使用的分析器要一致。

    需要加入queryParser依赖的jar包。lucene-queryparser-7.4.0.jar

    @Test
public void testQueryParser() throws Exception {
    IndexSearcher indexSearcher = getIndexSearcher();
    //创建queryparser对象
    //第一个参数默认搜索的域
    //第二个参数就是分析器对象
    QueryParser queryParser = new QueryParser("content", new IKAnalyzer());
    Query query = queryParser.parse("Lucene是java开发的");
    //执行查询
    printResult(query, indexSearcher);
}

private void printResult(Query query, IndexSearcher indexSearcher) throws Exception {
    //执行查询
    TopDocs topDocs = indexSearcher.search(query, 10);
    //共查询到的document个数
    System.out.println("查询结果总数量：" + topDocs.totalHits);
    //遍历查询结果
        for (ScoreDoc scoreDoc : topDocs.scoreDocs) {
        Document document = indexSearcher.doc(scoreDoc.doc);
        System.out.println(document.get("filename"));
        //System.out.println(document.get("content"));
        System.out.println(document.get("path"));
        System.out.println(document.get("size"));
    }
    //关闭indexreader
    indexSearcher.getIndexReader().close();
}  
//共查询到的document个数
    System.out.println("查询结果总数量：" + topDocs.totalHits);
    //遍历查询结果
        for (ScoreDoc scoreDoc : topDocs.scoreDocs) {
        Document document = indexSearcher.doc(scoreDoc.doc);
        System.out.println(document.get("filename"));
        //System.out.println(document.get("content"));
        System.out.println(document.get("path"));
        System.out.println(document.get("size"));
    }
    //关闭indexreader
    indexSearcher.getIndexReader().close();
}
ElasticSearch的数据存储：Lucene底层解析
AI天才研究院
05-13 902
1. 背景介绍 1.1. Elasticsearch的应用场景 Elasticsearch 作为一款开源的分布式搜索和分析引擎，以其高性能、可扩展性和易用性，赢得了广泛的应用。从电商平台的海量商品搜索，到日志分析系统的实时数据处理，Elasticsearch 都能提供强大的支
详解Elasticsearch和Lucene的底层数据的结构、多维度阐述ES查询快、FST的数据结构原理
Jack章臣的博客
03-11 5389
首先思考几个问题： 为什么ES的搜索功能是 近实时 的？ 为什么ES对文档的 CRUD (创建-读取-更新-删除) 操作是 实时 的? 一、ES与Lucene的内部结构 下面通过几张图，介绍ES与Lucene的内部结构。 图1，ES的集群 图2，ES的节点Node，一个Node相当于一个ES服务端。 图3，ElasticSearch的inde...
es底层的Lucene和倒排索引算法
欢迎访问,Viola的博客!
03-17 520
底层Lucene es基于Lucene开发,Lucene就是一个jar包,包含搜索相关的算法.比如倒排索引算法, 倒排索引(解释: 每个文档都有一个对应的文档 ID，文档内容被表示为一系列关键词的集合.倒排索引就是关键词到文档ID 的映射，每个关键词都对应着一系列的文件.例如 1.庆余年的男主是范闲. 2.范闲是庆国庆帝的私生子. 3.范闲是穿越到庆国的人. 搜索范闲 1.2.3 ...
lucene详解.doc
11-30
1. 基于Java的全文索引引擎Lucene简介：关于作者和Lucene的历史 2. 全文检索的实现：Luene全文索引和数据库索引的比较 3. 中文切分词机制简介：基于词库和自动切分词算法的比较 4. 具体的安装和使用简介：系统结构介绍和演示 5. Hacking Lucene：简化的查询分析器，删除的实现，定制的排序，应用接口的扩展 6. 从Lucene我们还可以学到什么
Lucene介绍和入门
xiaoyaGrace的博客
02-20 202
Lucene简介 　　Lucene是apache软件基金会4 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全...
ElasticSearch系列十：ES底层原理探秘
zhou870498的博客
05-30 7110
一、ES基于_version进行乐观锁并发控制 post /index/type/id/_update?retry_on_conflict=5&version=6 ①内部_version版本号：  第一次创建document的_version版本号为1，以后每次对这个document修改或删除操作，_version自动加1。  同时带上数据的版本号，确保es中数据的版本号，跟客户端中的...
Lucene
careyliang的博客
08-07 320
Lucene 全文磁力搜索 数据区（Field域document文档） + 索引区（分词后的词条） 数据存： 创建文档源对象，确定存储的磁盘路径 将文档源对象按照属性字段存入 数据区 文档中的值按照一定的分词策略存入 索引区 一次文档的存储，会在数据区给这个文档生成一个docId，该文档下有多个属性字段 数据查： 采用与存相同的分词器 按照条件检索 索引区 的词条 根...
Elasticsearch底层逻辑详解
专业深耕，技术前沿
02-03 834
Elasticsearch是一个基于Lucene的Java开发的分布式搜索和分析引擎，它能够处理海量数据，提供高性能和可伸缩性，并且能够快速地搜索和聚合数据。
使用java开发ElasticSearch Demo，整合了easy-es，并在mybatisplus的拦截器中，完成数据同步
11-05
首先，easy-es是一个轻量级的Java框架，它封装了ElasticSearch的底层操作，简化了ElasticSearch的接口调用，使得开发者可以更加聚焦于业务逻辑的实现，而不需要深入底层的复杂操作。其次，MyBatisPlus是基于MyBatis...
ElasticSearch底层原理解析
qq_56438516的博客
09-11 1171
Elasticsearch通过其分布式架构，提供了一个强大、灵活且可扩展的搜索解决方案。它的设计哲学是简单性和易用性，同时隐藏了底层Lucene的复杂性。通过分片和副本机制，ES能够处理大规模数据集，并提供快速、准确的搜索结果。
ElasticSearch底层原理浅析
YYDU_666的博客
09-20 5373
基本概念 索引（Index） ES将数据存储于一个或多个索引中，索引是具有类似特性的文档的集合。类比传统的关系型数据库领域来说，索引相当于SQL中的一个数据库，或者一个数据存储方案(schema)。索引由其名称(必须为全小写字符)进行标识，并通过引用此名称完成文档的创建、搜索、更新及删除操作。一个ES集群中可以按需创建任意数目的索引。 类型（Type） 类型是索引内部的逻辑分区(categ...
Lucene详解
Admans的专栏
04-10 912
一.lucene原理 Lucene 是apache软件基金会一个开放源代码的全文检索引擎工具包，是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎。它不是一个完整的搜索应用程序，而是为你的应用程序提供索引和搜索功能。lucene 能够为文本类型的数据建立索引，所以你只要能把你要索引的数据格式转化的文本的，Lucene 就能对你的文档进行索引和搜索。比如你要对一些 HTML 文档，PDF 文档进行索引的话你就首先需要把 HTML 文档和 PDF 文档转化成文本格式的，然后将转...
Elasticsearch专栏-7.es底层写入原理
zjun1001的博客
05-02 2772
es底层写入原理
Lucene概述
热门推荐
懒猫的脚印
08-24 1万+
Lucene搜索库
Lucene整理
宏微的博客
03-23 4756
Lucene
ElasticSearch底层相关原理
m0_60162373的博客
03-31 2945
一、ElasticSearch文档分值_score计算底层原理 查询的时候会对搜索到的文档进行打分（filter方式不会打分）。 1.boolean model 根据用户的query条件，先过滤出包含指定term的doc，这一步是不会打分的。 2.relevance score算法 [ˈreləvəns] 相关度 简单来说，就是计算出，一个索引中的文本，与搜索文本，他们之间的关联匹配程度 Elasticsearch使用的是 term freque...
Elasticsearch1.lucenne基本概念
strong_yu的博客
01-19 254
数据写入流程 1.数据同时写入indexbuffer缓冲和translog日志文件 2.默认每隔一秒钟，buffer中的数据被写入新的segmentfile，并进入os cache，此时segment被打开并供search使用 3.buffer被清空 4.重复1~3的步骤，新的segment不断添加，buffer不断被清空，而translog中的数据不断累加 commit(flush)操作 当translog文件达到一定的阀值(默认512M)，commit操作发生 1.buffer中的所有数据写入一个新的s
ElasticSearch底层用什么
最新发布
02-26
### Elasticsearch 底层实现技术 #### 倒排索引 Elasticsearch 的核心在于其高效的查询能力，这得益于底层使用的倒排索引结构[^4]。在该结构中，每个文档被分割成多个词条（terms），这些词条构成了索引的基础单元...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值