咖啡男孩之SRE之路

ElasticSearch是基于Lucene的搜索服务器，lucene承载了elasticSearch的核心算法和设计系想，所以要想彻底学透ElasticSearch需要从学习Lucene开始。

本篇主要学习下ElasticSearch生产中的运维-备份和恢复。

ElasticSearch作为搜索引擎，我们需要解决2大问题：1， 如何将被搜索的数据在ES上创建反向索引2， Java代码如何与ES交互其中第一个大问题又分为两个小问题1.1，如何初始化已有的数据1.2，如何同步增量数据第二个大问题也有两种集成方式2.1 Spring Data 9300端口集成2.2 Restful API 9200端口集成本篇先解决第二大问题。

ElasticSearch作为搜索引擎，我们需要解决2大问题：1， 如何将被搜索的数据在ES上创建反向索引2， Java代码如何与ES交互其中第一个大问题又分为两个小问题1.1，如何初始化已有的数据1.2，如何同步增量数据第二个大问题也有两种集成方式2.1 Spring Data 9300端口集成2.2 Restful API 9200端口集成本篇先解决第一大问题。

本篇主要学习DSL格式的ElasticSearch查询语法，了解Filter的作用，了解常用的聚合。

ElasticSearch的命令调用是基于http的，提供了丰富的RESTFul API，从功能上来分可以分为4类：(1) 检查集群、节点、索引等状态信息；(2) 管理集群、节点、索引数据及元数据；关。(3) 执行CRUD操作及搜索操作； (4) 执行高级搜索操作，例如paging、filtering、scripting、faceting、aggregations及其它操作；

英文的分词相对简单，因为英语单词之间是通过空格分隔开的，这就具备了先天上的优势，剩下的工作只需要做些助词剔除、时态单复数转化就可以了。虽然汉字没有单复数的区别，省去了一部分转化的开销，但是汉字的字和词在书写时是没有任何物理上的分割能力的，完全要靠语境进行“智能”的推测。在创建反向索引和进行搜索时需要对中文分词进行一些特殊的处理，在ElasticSearch中是通过插件的形式实现的。

ELK，ElasticSearch+Logstash+Kibana三个组件的缩写，应用场景比较广泛：1， 用于微服务架构中日志收集、分析、展示功能的基础组件。2， 用于网站操作动作捕获监控、分析、展示功能的基础组件。ElasticSearch：承担存储和分析功能，原理和具体操作前面已经花了大量篇幅来介绍。Logstash：ELK架构的内容来源，负责收集和简单数据处理。Kibana：提供友好展示、报表统计功能

前一篇介绍了2种单结点安装的方式，现在我们看下2台CentOS7如何搭建一套Cluster，不同ES版本配置略有出入，自报家门我使用的是5.6.1版本。前面讲过ES的结点配置在/conf/elasticsearch.yml中，里面的英文描写已经很详细，es通过发现机制寻找默认集群名称的所有节点，最终拥有相同集群名称的节点就自动的构成了一个ElasticSearch集群。

Linux版本（本人使用的是CentOS7）ElasticSearch是基于Lucene实现的，而Lucene是java开发的，所以在安装ElasticSearch之前需要先准备好java环境。 在elastic网站上找到自己想要下载的版本，而且网站上还有安装步骤和案例https://www.elastic.co/downloads/elasticsearch目前最新的版本...

ElasticSearch(简称ES)是一个基于Lucene构建的开源(open-source)，分布式(distributed)，RESTful，实时(real-time)的搜索与分析(analytics)引擎。一一拆分定义：基于Lucene，那就需要我们要提前了解好Lucene的相关知识（Lucene原理分析）；分布式的，分片原理是分布式的基础；RESTFul，说明我们对ElasticSearch的调用是通过http RESTFul格式的；实时，说明搜索效率高；搜索与分析，说明不仅只提供单独的反向索引

Lucene中用到的一些设计，主要是为了满足2个特点：1存储小；2检索快。这里把Lucene里用到的技巧单独领出来了解下，是为了多学习一些优秀的算法，开阔思路，在工作中万一遇到类似的场景可以学以致用。

索引（Index）：一个索引实例就是一个文件夹，该文件夹中所有文件都属于同一个索引。段（Segment）：一个索引包含1~N个段，段与段之间是独立的，添加新文档可以生成新的段，不同的段可以合并。 具有相同前缀文件的属同一个段，图中共两个段 "_0" 和 "_1"。 segments.gen 和 segments_5 是段的元数据文件，也即它们保存了段的属性信息。文档（Document）：文档是我们建索引的基本单位，不同的文档是保存在不同的段中的，一个段可以包含多篇文档。 域(Field

目录需求场景：架构设计：端口号：准备资源：Linux版本：准备Java环境ElasticSearch：下载安装配置：启动：Zookeeper下载安装：配置：启动：Kafka下载安装:配置：启动命令：准备和调试：Logstash：下载安装：配置：logstash服务配置:被监听的服务配置:启动命令：...