深入理解Elasticsearch

1、Elasticsearch介绍

1.1、什么是Elasticsearch

Elasticsearch是一个开源的分布式搜索和分析引擎，构建在Apache Lucene搜索引擎库之上，提供了一个分布式、多租户的全文搜索引擎，能够实时地存储、检索和分析大规模的数据。

1.2、Elasticsearch特点

（1）分布式架构：Elasticsearch采用分布式架构

（2）实时搜索

（3）多租户支持：可以在同一个集群中为不同的应用或用户提供服务。

（4）文档存储：以文档为基本存储单元，每个文档都是一个JSON格式的数据对象。

（5）多种数据类型支持：包括文本、数字、地理位置。

（6）强大的查询语言：Elasticsearch提供了丰富的查询DSL，能够进行复杂的条件查询和聚合分析。

（7）高性能：能够处理大规模数据并提供低延迟的响应。

（8） 实时分析：除了搜索功能，还能够对数据进行实时的统计和分析。

1.3、组件介绍

1.3.1、索引（Index）（数据库）

是一个包含了相关文档数据的集合，存数据的地方。索引可以包含多个类型（Type），每个类型代表一个类似数据库中的表。

1.3.2、类型（Type）（表）

类型是用来定义数据结构，是在索引中对文档进行分类的一种方式。每个类型都有自己的映射（Mapping），定义了文档中包含的字段和它们的类型。

1.3.3、文档（Document）（行）

是存储在索引（Index）中的基本数据单位（最小），一个文档就是一条记录。类似于 MySQL 中的一行。每个文档都是一个JSON格式的数据对象，它包含了实际的数据。

1.3.4、Field 字段

一个document里面有多个field

1.3.5、映射（Mapping）（表结构定义）

每个索引都有一个对应的Mapping。主要用于定义文档中的字段类型和属性，以及 索引文档时自动检测字段类型并创建Mapping。

2、Elasticsearch的分布式架构

它允许数据存储和处理在多个节点上分布，并能够处理大规模的数据量
（1）节点（Node）：每个节点是一个独立的Elasticsearch实例，可以运行在单独的服务器上，也可以在同一台物理服务器上运行多个节点。

（2）集群（Cluster）：一个或多个节点可以组成一个Elasticsearch集群，它们共享数据和协调任务。个节点只能属于一个集群。

（3）分片（Shard）：将数据分成多个分片，每个分片是一个独立的索引单元，包含索引的一部分数据。分片可以分布在不同的节点上，使得数据能够水平扩展。

（4）副本（Replica）：每个分片可以有零个或多个副本，副本是分片的拷贝。副本提供了数据的冗余备份和容错机制，并能够提高搜索性能。

（5）Master节点：集群中有一个或多个节点被选举为主节点（master node），主节点负责集群范围内的管理任务，如创建和删除索引、分片的分配等。

（6）协调节点（Coordinator Node）：在搜索请求到达时，协调节点负责协调请求的路由和分发，它不存储数据，专注于请求的转发。

（7）数据节点（Data Node）：负责存储数据的节点，它们承载索引分片和处理搜索请求。

3、Elasticsearch倒排索引

倒排索引的基本原理是，对于每个文档，遍历文档中的每个单词，将单词与包含该单词的文档进行关联。这样就可以快速地根据单词来查找包含该单词的文档列表，倒排索引是通过词项词典和倒排列表来实现的：

（1）词项词典

包含了所有文档中出现过的单词+指向倒排列表的指针。

（2）倒排列表

包含了每个单词的文档ID列表+文档中的位置等信息。

使用倒排索引进行数据检索的步骤如下：

（1）创建索引：首先需要将数据存储到Elasticsearch中，并创建相应的索引。
（2）插入文档：将文档插入到索引中，Elasticsearch会自动构建倒排索引。
（3）查询数据：用户提交查询请求时，Elasticsearch会对查询词项进行分析和标准化，然后通过倒排索引定位包含这些词项的文档，并返回查询结果

4、Elasticsearch存储原理

Elasticsearch的存储原理是基于倒排索引和分布式存储的结合，使得它能够高效地存储和检索大规模的数据。

倒排索引是一种数据结构，它将文档中的每个词条与其出现的位置进行关联，从而可以快速地进行全文搜索。数据被分片存储在多个节点上，每个节点都有自己的倒排索引。当索引一个文档时，Elasticsearch会将文档分割成多个词条，并将每个词条存储在相应的倒排索引中。

5、Elasticsearch存储步骤

（1）创建索引

在 Elasticsearch 中，数据存储在索引（表）中（文档存储在索引中）。要存储数据，首先需要创建一个索引

（2）定义映射

在创建索引时，通常需要定义数据的映射。映射定义了索引中的字段以及它们的数据类型。

（3）索引文档

一旦索引和映射定义好了，就可以开始将文档存储到 Elasticsearch 中。文档是实际存储的数据记录，它们以 JSON 格式表示，并被存储在索引中。

6、Elasticsearch查询原理/步骤

查询原理主要是基于倒排索引、分词、查询解析和查询执行这几个基本步骤来实现的。

（1）倒排索引

使用倒排索引来加快搜索速度。倒排索引是一种数据结构，它可以快速地定位到包含特定词条的文档。

（2）分词

在索引文档时，Elasticsearch会对文本进行分词处理，将文本分割成词条。在用户执行查询时，查询字符串也会被进行同样的分词处理，以便匹配索引中的词条。

（3）查询解析

（4）查询执行

（5）结果返回