（1）ElasticSearch基本概念介绍

一、文档和索引

1、文档（Document）
（1）ElasticSearch是面向文档的，文档是所有可能搜索数据的最小单位

• 日志文件中的日志项
• 一本电影的具体信息/一张唱片的详细信息
• MP3播放器里的一首歌/一篇PDF文档中的具体内容

（2）文档会被序列化成JSON格式，保存在ElasticSearch中

• JSON对象由字段组成
• 每个字段都有相应的字段类型（字符串/数值/布尔/日期/二级制/范围类型）

（3）每个文档都有一个Unique ID

• 你可以自己指定ID
• 或者通过ElasticSearch自动生成

2、JSON文档
（1）一篇文档包含了一系列的字段。类似于数据库表中的一条记录。
（2）JSON文档，格式灵活，不需要预先定义格式。

• 字段类型可以指定或者通过ElasticSearch自动推算
• 支持数值/支持嵌套

以下就是cvs文件中的一条数据，把他存储在es中，如下格式


3、文档的元数据

• _index：文档所属的索引名
• _type：文档所属的类型名
• _id:文档唯一id
• _source：文档的原始JSON数据
• _all：整合所有字段内容到该字段，已被废除
• _version：文档的版本信息
• _score：相关性打分

4、索引

（1）index：索引是文档的容器，是一类文档的结合

• index体现了逻辑空间的概念：每个索引都有自己的Mapping定义，用于定义包含的文档的字段名和字段类型
• Shard体现了物理空间的概念：索引中的数据分散在Shard上

（2）索引的Mapping与Setting

• Mapping定义文档字段的类型
• Setting定义不同的数据分布

（2）索引的不同语义

• 名称：一个ElasticSearch集群中，可以创建很多不同的索引
• 动词：保存一个文档到ElasticSearch的过程也叫做索引（indexing），es中，创建一个倒排索引的过程
• 名词：一个B树索引，一个倒排索引
  

5、Type
（1）在7.0之前，一个index可以设置多个types。每个Type的底下拥有一些相同结构的文档。
（2）6.0开始，Type已经被Deprecate。7.0开始，一个索引只能创建一个Type（_doc）。

6、抽象与类比
（1）传统关系型数据库和ElasticSearch的区别

• ElasticSearch-Schemaless /相关性/高性能全文检索
• RDMS-事务性/Join
  

二、节点、集群、分片及副本

1、节点
（1）节点是一个ElasticSearch的实列

• 本质就是一个Java进程
• 一台机器可以运行多个ElasticSearch进程，但是生产环境一般建议一台机器上只运行一个ElasticSearch实列

（2）每个节点都有名字，通过配置文件配置，或者启动时候 -E node.name=node1指定
（3）每一个节点在启动之后，会分配一个UID，保存在data目录下

2、Master-eligible nodes和Master Node
（1）每个节点启动之后，默认就是一个Master eligible节点

• 可以设置node.master：false禁止

（2）Master-eligible节点可以参加选主流程，成为Master节点
（3）当第一个节点启动的时候，它会将自己选举成Master节点
（4）每个节点都保存了集群的状态，只有Master节点才能修改集群的状态信息

• 集群状态（Cluster State），维护了一个集群中必要的信息
• 所有的节点信息
• 所有的索引和其相关的Mapping与Setting信息
• 分片的路由信息
• 任意节点都能修改信息会导致数据的不一致性

3、Data Node和Coordinating Node
（1）Data Node可以保存数据的节点，叫做Data Node。负责保存分片的数据。在数据扩展上起到了至关重要的作用

（2）Coordinating Node

• 负责接受Client的请求，将请求分发到合适的节点，最总把结果汇总到一起
• 每一个节点默认都起到Coordinating Node的职责

4、其他节点类型
（1）Hot和Warm Node（冷热节点）

• 不同硬件配置的Data Node，用来实现Hot和Warm架构，降低集群部署的成本

（2）Machine Learning Node

• 负责跑机器学习的Job，用来做异常检测

（3）Tribe Node

• （5.3开始使用Cross Cluster Search）Tribe Node连接到不同的ElasticSearch集群，并且支持将这些集群当作一个单独的集群处理。

4、配置节点类型
（1）开发环境一个节点可以承担多种角色
（2）生产环境中，应该设置单一的角色节点（dedicated node）

5、分片（Primary Shard和Replica Shard）
（1）主分片，用以解决数据水平扩展的问题。通过主分片，可以将数据分布到集群内的所有节点之上

• 一个分片是一个运行的Lucene的实列

• 主分片数在索引创建时指定，后续不允许修改，处分Reindex

• （2）副本，用以解决数据高可用的问题。分片是主分片的拷贝

• 副本分片数，可用动态调整

• 增加副本数，还可以一定程度上提供服务的可用性（读取的吞吐）

（3）一个节点的集群中，blogs索引的分片分布情况

6、分片的设定
（1）对于生产环境中分片的设定，需要提前做好容量规划
（2）分片设置过小

• 导致后续无法增加节点实现水平扩展
• 单个分片的数据量太大，导致数据重新分配耗时
  （3）分片数设置过大，7.0开始，默认主分片设置从5变成了1，解决了over-sharding的问题
• 影响搜索结果的相关性打分，影响统计结果的准确性
• 每个节点过多的分片，会导致资源浪费，同时也会影响性能

7、查看集群的健康状况
（1）Green：主分片与副本都正常分配
（2）Yellow：主分片全部正常分配，有副本分片未能正常分配
（3）Red：有主分片未能分配

• 例如，当服务器的磁盘容量超过85%时，去创建了一个新索引