Elasticsearch学习之路(三)_Elasticsearch相关概念

Elasticsearch相关概念

文档

1. elasticsearch是面向文档的，文档是所有可搜索数据的最小单位，例如：
	1. 日志文件中的日志项
	2. 一本电影的具体信息 / 一张唱片的详细信息
	3. MP3播放器里的一首歌 / 一篇PDF文档中的具体内容
2. 文档会被序列化为Json格式，保持在elasticsearch中
	1. Json对象有字段注册
	2. 每个字段都有对应的字段类型(字符串，数值，布尔，日期，二进制，范围类型)
3. 每个文档都有一个 uniqueID
	1. 你可以自己指定ID
	2. 或者通过Elasticsearch自动生成

文档的元数据

1. 元数据可以认为是每个json数据自带的原始的字段，用于标注文档的相关信息，主要有以下几个元数据：
	1. _indx 文档所属的索引名
	2. _type 文档所属的类型名
	3. _id 文档的唯一ID
	4. _source 文档的原始JSON数据
	5. _version 文档的版本信息
	6. _score 相关性打分

索引 Index

1. 索引是文档的容器，是一类文档结合
	Index体现了逻辑空间的概念：每个索引都有自己的Mapping定义，用于定义包含的文档的字段名和字段类型
	每个索引的数据分布在Shard上，Shard体现了物理空间的概念
2. 索引的Mapping和Settings
	Mapping定义文档字段的类型
	settings定义不同的数据分布

索引的不同语义

1. 名词：一个Elasticsearch集群中，可以创建很多不同的索引
2. 动词：保存一个文档到elasticsearch的过程也叫索引(indexing)，即es创建一个倒排索引的过程
3. 名词：一个B树索引，一个倒排索引

Type

Type是一类索引的组合
1. 在7.0之前，一个Index可以设置很多Types
2. 6.0开始，Type已经被Deprecated。7.0开始，一个索引只能创建一个type，即“_doc”

与传统关系型数据库RDMS的对比

1. ES的特点是弱结构化，相关性，高性能全文检索
2. RDMS 事务性和数据聚合Join

RDMS	ES
Table	Index(Type)
Row	Document
Column	Field
Schema	Mapping
SQL	DSL

REST API

ES提供rest api的接口，以便于各种语言调用

分布式集群

	分布式集群是目前的主流做法，原因也是显而易见的，分布式系统具有单机系统无法比拟的高可用性和可扩展性

1. 高可用性：
	1. 服务可用性：允许有节点停止服务
	2. 数据可用性：部分节点丢失，不会丢失数据
2. 可扩展性：
	1. 可以水平扩展

节点

1. 节点是一个ES实例
	1. 本质上就是一个JAVA进程
	2. 一台机器上可以运行多个ES进程，但是生产环境一般建议一台机器只运行一个ES实例
2. 每个节点都有名字，通过配置文件配置，或者启动的时候，加上 -E node.name=node1 指定
3. 每个节点在启动后，会分配一个UID，保持在data目录下

Master-eligible nodes 和Master Node

1. 每个节点启动后，默认就是一个Master eligible节点
	1. 可以设置node.master:false禁止
2. Master-eligible节点可以参加选主流程，成为Master节点
3. 当第一个节点启动的时候，它会将自己选举为Master节点
4. 每个节点上都保存了集群的状态，只有Master节点才能修改集群的状态信息
	1. 集群状态(Cluster State) ，维护了一个集群中，必须的信息
		1. 所有的节点信息
		2. 所有的索引和棋相关的Mapping和Settings信息
		3. 分片的路有信息

Data Node

	可以保存数据的节点，叫做Data Node，负责保存分片数据，在数据扩展上起到了至关重要的作用

Coordinating Node

1. 负责接收Client的请求，将请求分发到合适的节点，最终把结果汇集到一起
2. 每个节点默认都起了Coordinationg Node的职责

Hot & Warm Node

	不同硬件配置的Data Node,用来实现Hot & Warm 架构，降低集群部署的成本

Machine Learning Node

	顾名思义，负责跑机器学习的Job，用来做异常检测

Tribe Node

(5.3开始用Cross Cluster Serach) Tribe Node 连接到不同的ES集群，并且支持将这些集群当做一个单独的集群处理

配置节点类型

1. 开发环境中一个节点可以承担多种角色
2. 生产环境中，应该设置单一的角色的节点

节点类型	配置参数	默认值
master eligible	node.master	true
data	node.data	true
ingest	node.ingest	true
coordinating only	无	每个节点默认都是coordinating，设置其它类型全部为false
machine_learing	node.ml	ture(需要 enable x-pack)

分片

1. 主分片：用以解决数据水平扩展的问题，通过主分片，可以将数据分布到集群内的所有节点之上
	1. 一个分片是一个运行的Lucene的实例
	2. 主分片数在索引创建时指定，后续不允许修改，除非Reindex
2. 副本，用以解决数据高可用的问题，分片是主分片的拷贝
	1. 副本分片数，可以动态调整
	2. 增加副本数，还可以在一定程度上提高服务的可用性(读取的吞吐)
3. 对于生产环境中分片的设定，需要提前做好容量规划
	1. 分片数设置过小
		1. 导致后续无法增加节点，实现水平扩展
		2. 单个分片的数据量太大，导致数据重新分配耗时
	2. 分片数设置过大
		1. 影响搜索结果的相关性打分，影响统计结果的准确性
		2. 单个节点上过多的分片，会导致资源浪费，同时也会影响性能

查看集群的健康情况

1. Green： 主分片与副本都正常分配
2. Yellow：主分片全部正常分配，有副本分配未能正常分配
3. Red：有主分片未能分配
	1. 例如，当服务器的磁盘容量超过85%时，去创建一个新的索引

更多内容欢迎关注我的个人公众号“韩哥有话说”，100G人工智能学习资料，大量后端学习资料等你来拿。