zhubaoJay的博客

0x01 摘要本文主要讲下ES中Doc（文档）和Segment（段）的底层原理。0x02 Doc概念2.1 术语介绍首先我们说几个ES中跟Doc相关的概念，以免后面混淆：Index（索引）这里指ES的索引概念，有1个或多个type，由若干shard分片组成Shard（分片）是一个Lucene索引。一个ES Index分为多个Shard，可分布到不同节点上Doc（文档）...

ES各种节点的分工1. 客户端节点　　当主节点和数据节点配置都设置为false的时候，该节点只能处理路由请求，处理搜索，分发索引操作等，从本质上来说该客户节点表现为智能负载平衡器。独立的客户端节点在一个比较大的集群中是非常有用的，他协调主节点和数据节点，客户端节点加入集群可以得到集群的状态，根据集群的状态可以直接路由请求。2. 数据节点　　数据节点主要是存储索引数据的节点，主要对文...

实时性Elasticsearch的主要应用场景就是实时，但Elasticsearch本身并非实时而是near-real-time（近实时）。Index的实时性是由refresh控制的，默认是1s，最快可到100ms，那么也就意味着Index doc成功后，需要等待一秒钟后才可以被搜索到。Elasticsearch中的Get请求也能保证是实时的，因为Get请求会直接读内存中尚未Flush到磁...

概要本篇主要介绍Elasticsearch的数据索引时的分片机制，集群发现机制，primary shard与replica shard是如何分工合作的，如何对集群扩容，以及集群的容错机制。分片机制前面基本概念一节中，我们有提到建立索引时，会自动将数据拆分到多个分片（shard）中，默认数量是5，这个就是索引数据分片机制。我们在往Elasticsearch集群插入数据，并没有关心过数据最...

Elasticsearch作为当前流行的分布式搜索引擎，被广泛应用于日志检索，指标采集，APM，安全分析等领域。本文将对Elastic Stack的发展历程，基本原理，产品生态，主要功能和应用场景进行总结，以帮助大家对Elastic生态的前世今生能有一个清晰的了解。1. 发展历程1.1 美好的事物总有一个浪漫的开始许多年前，一个叫Shay Banon的年轻人想为正在学习厨艺的新婚妻子编...