KeePCoding

Kibana 是一个开源的分析与可视化平台，可以用 Kibana 搜索、查看存放在 Elasticsearch 中的数据，就跟谷歌的插件类似，但 Kibana 与 Elasticsearch 的交互方式是各种不同的图表、表格、地图等，直观的展示数据，从而达到高级的数据分析与可视化的目的。Elasticsearch、Logstash 和 Kibana 这三个技术就是常说的 ELK 技术栈，很典型的MVC思想，模型持久层，视图层和控制层。Logstash 担任控制层的角色，负责搜集和过滤数据。

Filebeat 是使用 Golang 实现的轻量型日志采集器，也是 Elasticsearch stack 里面的一员。本质上是一个 agent ，可以安装在各个节点上，根据配置读取对应位置的日志，并上报到相应的地方去。

ELK 技术栈架构设计图：从左往右看，BeatsFilebeatKafkaLogstashKibanaLog4j2Log4j2app.logerror.log。

Elasticsearch 整合 SrpingBoot引入依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId> <version>2.2.2.RELEASE</version></dependency>设置

1 Elasticsearch 集群ES 集群不仅可以实现高可用，也能实现海量数据存储的横向扩展。在之前的 ES 笔记中就提及了主分片和副本分片的概念，主分片出现了问题，副本分片还是可以访问甚至替代成为主分片，实现高可用。在单节点的情况下是无法创建副本分片的，因为一个分片的主与副本是不可能存放在同一服务器中，所以副本分片需要用到集群（主从热备、Redis 集群原理）。1.1 集群读写原理如上图是 ES 集群的写原理，用户发送请求时，协调节点是随机的，它可以看做为 Java 后端的 control

DSL 搜索ES 使用 queryString 形式根据搜索词对索引表的文档进行检索：GET /{indexName}/_doc/_search?q={fieldName1}:{searchTxt1}&q={fieldName2}:{searchTxt2}..但这种 queryString 的形式查询数据只适合一些简单查询的场景，一旦参数多了就难以进行构建（需要添加分页、过滤等功能），所以多数情况下使用 DSL Domain Specific Language 进行查询更好，因为它基于 JS

搜索引擎搜索引擎需要有一个数据源，这里就需要一个数据采集和数据同步的过程（来自数据库、爬虫等）。针对这些数据进行处理后存放到相应的搜索引擎节点上，从而为用户提供检索服务。它存在的目的就是优化用户体验，精准地提供有效的搜索服务、对用户搜索行为进行分析。Lucene：是 Java 类库，实现集群复杂Solr：基于 LuceneElasticsearch：ES 基于 Lucene，提供 Restful 风格的接口进行操作，所以可对接其它开发语言1 ES 核心术语、概念索引 index：一组集合，