大勇若怯任卷舒

代码】50.集群节点维护—升级前重建索引。

代码】49.集群节点维护—滚动升级-2。

代码】48.集群节点维护—滚动升级-1。

代码】47.集群节点维护—删除node。

大数据视频推荐：优快云大数据语音推荐：ELK7 stack开发运维企业级大数据技术应用大数据机器学习案例之推荐系统自然语言处理大数据基础人工智能：深度学习入门到精通

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OcigUiKv-1658133186417)(https//upload-images.jianshu.io/upload_images/19745945-4343dee6b36016c5.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]

44.3 ID字段定义为keyword一般情况下， 如果字段不会被用作Range类型搜索字段， 都可以定义成keyword类型Integer等数字类的mapping类型， 会被优化来进行range类型搜索将Integer改成keyword类型后， 搜索性能可以提高30%大数据视频推荐：优快云大数据语音推荐：ELK7 stack开发运维企业级大数据技术应用大数据机器学习案例之推荐系统自然语言处理大数据基础人工智能：深度学习入门到精通...

注意： 线程数降低，但单批的处理耗时可能增加， 和提高刷新时间间隔类似，有可能会牺牲数据的实时性存储使用 SSD使用 RAID 0使用多块硬盘，并允许 Elasticsearch 通过多个 path.data 目录配置把数据条带化分配到它们上面不要使用远程挂载的存储，比如 NFS 或者 SMB/CIFS大数据视频推荐：优快云大数据语音推荐：ELK7 stack开发运维企业级大数据技术应用大数据机器学习案例之推荐系统自然语言处理大数据基础人工智能：深度学习入门到精通...

调整索引的刷新间隔该参数默认是1s， 强制ES每秒刷新一个segment， 从而保证新写入的数据近实时的可见，可被搜索到如果将该参数刷新的时间调高， 降低刷新次数，减少资源消耗， 但也牺牲了ES的实时性大数据视频推荐：优快云大数据语音推荐：ELK7 stack开发运维企业级大数据技术应用大数据机器学习案例之推荐系统自然语言处理大数据基础人工智能：深度学习入门到精通...

对于冷数据，索引设置41.2 为索引设置冷热属性-验证创建索引查看分片分配,可以看到分片均匀分配在五个节点上设置索引为热索引查看分片分配,发现分片均分配在热节点上设置索引为冷索引查看分片分配，发现分片均分配到冷节点上大数据视频推荐：优快云大数据语音推荐：ELK7 stack开发运维企业级大数据技术应用大数据机器学习案例之推荐系统自然语言处理大数据基础人工智能：深度学习入门到精通...

- 根据业务数据量及读写性能要求选择合适的冷热节点规格 - 副本数量：副本有利于增加数据的可靠性，但同时会增加存储成本 - 数据膨胀：除原始数据外，ES 需要存储索引、列数据等，在应用编码压缩等技术后，一般膨胀10%...

36.3 容量规划案例2基于时间序列的数据相关的用案日志 / 指标 / 安全相关的 Events舆情分析特性每条数据都有时间戳；文档基本不会被更新（日志和指标数据）用户更多的会查询近期的数据；对旧的数据查询相对较少对数据的写入性能要求比较高36.4 创建基于时间序列的索引创建 time-based 索引在索引的名字中增加时间信息按照 每天 / 每周 / 每月 的方式进行划分好处更加合理的组织索引，例如随着时间推移，便于对索引做的老化处理利用 Ho

36.3 容量规划案例2基于时间序列的数据相关的用案日志 / 指标 / 安全相关的 Events舆情分析特性每条数据都有时间戳；文档基本不会被更新（日志和指标数据）用户更多的会查询近期的数据；对旧的数据查询相对较少对数据的写入性能要求比较高36.4 创建基于时间序列的索引创建 time-based 索引在索引的名字中增加时间信息按照 每天 / 每周 / 每月 的方式进行划分好处更加合理的组织索引，例如随着时间推移，便于对索引做的老化处理利用 Ho

36.3 容量规划案例2基于时间序列的数据相关的用案日志 / 指标 / 安全相关的 Events舆情分析特性每条数据都有时间戳；文档基本不会被更新（日志和指标数据）用户更多的会查询近期的数据；对旧的数据查询相对较少对数据的写入性能要求比较高36.4 创建基于时间序列的索引创建 time-based 索引在索引的名字中增加时间信息按照 每天 / 每周 / 每月 的方式进行划分好处更加合理的组织索引，例如随着时间推移，便于对索引做的老化处理利用 Ho

36.3 容量规划案例2基于时间序列的数据相关的用案日志 / 指标 / 安全相关的 Events舆情分析特性每条数据都有时间戳；文档基本不会被更新（日志和指标数据）用户更多的会查询近期的数据；对旧的数据查询相对较少对数据的写入性能要求比较高36.4 创建基于时间序列的索引创建 time-based 索引在索引的名字中增加时间信息按照 每天 / 每周 / 每月 的方式进行划分好处更加合理的组织索引，例如随着时间推移，便于对索引做的老化处理利用 Ho

35.1 容量规划一个集群总共需要多少个节点？ 一个索引需要设置几个分片？规划上需要保持一定的余量，当负载出现波动，节点出现丢失时，还能正常运行一个索引库建立5-20个分片是最合适的做容量规划时，一些需要考虑的因素机器的软硬件配置单条文档的尺寸 / 文档的总数据量 / 索引的总数据量（Time base 数据保留的时间）/ 副本分片数文档是如何写入的（Bulk 的尺寸）文档的复杂度，文档是如何进行读取的（怎么样的查询和聚合）35.2 评估业务的性能需求数据吞吐及性能需求

集群规划集群大小设置的依据：ES JVM heap 最大可以设置32G30G heap大概能处理10T 的数据量， 如果内存很大 如128G， 可以在一台机器上运行多个ES节点两类应用场景：用于构建业务搜索功能模块， 且多是垂直领域的搜索数据量级几千万到数十亿级别， 一般2-4台机器规模用于大规模数据的实时OLAP（联机处理分析），如ELK Stack， 数据规模可能达到千亿或更多几十到上百节点的规模集群节点的角色分配节点角色：master : node.

32.1 Kibana No Default Index Pattern Warning当访问kibana页面时，出现下面的信息：这就说明logstash没有把日志写入到elasticsearchWarning No default index pattern. You must select or create one to continue....Unable to fetch mapping. Do you have indices matching the pattern?

31.1 定位红色或黄色的索引进一步定位未分配的原因可以要求集群进一步返回给定分片的当前分配情况和逻辑需要结合第三步返回结果对下面的_cluster/allocation/explain API 参数进行修改GET /_cluster/allocation/explain{ "index": "my_index_003", "shard": 0, "primary": false}一些常见的问题包括：磁盘空间不足分片数限制JVM或内存限制路由或分配规则崩

30.1 集群健康状态的解读集群运行状况为：绿色、黄色、红色。在分片级别：绿色状态：表示集群健康；黄色状态：表示所有主分片均已分配，但有一个或多个副本分片未分配。如果集群中的某个节点发生故障，则在修复该节点之前，某些数据可能不可用；红色状态：表示存在一个或多个主分片未分配，因此某些数据不可用。在集群启动期间，伴随着主分片的分配过程，这可能会短暂发生。30.2 定位红色或黄色的索引第一步：确定你所知道的主要问题例如节点宕机、磁盘空间（磁盘使用逼近或超过警戒水位线：85%、90%、

29.1 按字段过滤29.2 DSL查询还可以编辑一个DSL查询语句，用于过滤筛选，例如：29.3 查看文档数据29.4 查看文档上下文29.5 查看字段数据统计29.6 创建一个可视化为了创建一个可视化的视图：第1步：点击左侧导航条中的“Visualize Library”按钮第2步：点击“Create visualization”按钮或者加号(+)按钮第3步：选择一个可视化类型第4步：指定一个搜索查询来检索可视化数据第5步：在可视化的构建器中选择Y轴的聚合操作

28.1 Kibana简介Kibana是一个开源的分析和可视化平台，设计用于和Elasticsearch一起工作。Kibana可以用来搜索，查看，并和存储在Elasticsearch索引中的数据进行交互。可以轻松地执行高级数据分析，并且以各种图标、表格和地图的形式可视化数据。Kibana使得理解大量数据变得很容易。它简单的、基于浏览器的界面使你能够快速创建和共享动态仪表板，实时显示Elasticsearch查询的变化。28.2 访问KibanaKibana是一个Web应用程序，你可以通过5

27.1 ElasticSearch设计管道机制让上一步的聚合结果成为下一个聚合的输入，这就是管道第一个维度：管道聚合有很多不同类型，每种类型都与其他聚合计算不同的信息，但是可以将这些类型分为两类：父级：父级聚合的输出提供了一组管道聚合，它可以计算新的存储桶或新的聚合以添加到现有存储桶中。兄弟：同级聚合的输出提供的管道聚合，并且能够计算与该同级聚合处于同一级别的新聚合第二个维度：根据功能设计的意图比如前置聚合可能是Bucket聚合，后置的可能是基于Metric聚合，那么它就可以成为一类

26.1 单值分析: 标准stat类型26.1.1 value_count 数量销售数量统计POST /sales/_search?size=0{ "aggs" : { "types_count" : { "value_count" : { "field" : "type" } } }}返回{ ... "aggregations": { "types_count": { "value": 7 } }}26.2 单值分析:

25.1 如何理解metric聚合从两个角度：从分类看：Metric聚合分析分为单值分析和多值分析两类从功能看：根据具体的应用场景设计了一些分析api, 比如地理位置，百分数等等单值分析:只输出一个分析结果标准stat型avg 平均值max 最大值min 最小值sum 和value_count 数量其它类型cardinality 基数（distinct去重）weighted_avg 带权重的avgmedian_absolute_deviation 中位值多值

24.1 前置条件的过滤：filter24.1.1 对filter进行分组聚合：filters示例：日志系统中，每条日志都是在文本中，包含warning/info等信息PUT /test-agg-logs/_bulk?refresh{ "index" : { "_id" : 1 } }{ "body" : "warning: page could not be rendered" }{ "index" : { "_id" : 2 } }{ "body" : "authentication

23.1 聚合的引入在SQL结果中常有:SELECT COUNT(color) FROM tableGROUP BY colorElasticSearch中桶在概念上类似于 SQL 的分组（GROUP BY），而指标则类似于COUNT() 、SUM()、MAX()等统计方法进而引入了两个概念：桶（Buckets） 满足特定条件的文档的集合指标（Metrics）对桶内的文档进行统计计算ElasticSearch包含3种聚合（Aggregation)方式桶聚合（Buck

22.1 搜索参数在所有索引的所有类型中搜索/_search在索引 gb 的所有类型中搜索/gb/_search在索引 gb 和 us 的所有类型中搜索/gb,us/_search在以 g 或 u 开头的索引的所有类型中搜索/g*,u*/_search在索引 gb 的类型 user 中搜索/gb/user/_search在索引 gb 和 us 的类型为 user 和 tweet 中搜索/gb,us/user,tweet/_search在所有索引

21.1 短语搜索精确匹配GET /megacorp/employee/_search{ "query" : { "match_phrase" : { "about" : "rock climbing" } }}21.2 高亮搜索GET /megacorp/employee/_search{ "query" : { "match_phrase" : { "about" : "rock climbing" } },

20.1 确切值搜索默认情况下，搜索会返回所有字段。如果我们不希望返回整个源文档，我们可以从源文档中只求几个字段来返回。下面的例子展示了只返回文档中的两个字段：account_number 和 balance字段。curl -X GET "localhost:9200/bank/_search?pretty" -H 'Content-Type: application/json' -d'{ "query": { "match_all": {} }, "_source": ["accou

19.1 REST API搜索示例运行搜索有两种基本方法：一种是通过REST求URI发送检索参数，另一种是通过REST求体发送检索参数用于搜索的REST API可从_search端点访问。下面的例子返回"bank"索引中的所有文档：curl -X GET "localhost:9200/bank/_search?q=*&sort=account_number:asc&pretty“ 我们在"bank"索引中检索，q=*参数表示匹配所有文档；sort=account_numbe

18.1 Simulate多组件模板由于模板不仅可以由多个组件模板组成，还可以由索引模板本身组成，因此有两个模拟API来确定生成的索引设置模拟te-000001 ：POST /_index_template/_simulate_index/te-000001获取特定模板的设置：POST /_index_template/_simulate/template_1从现有模板应用Simulate的设置：PUT /_component_template/ct1{ "templat

17.1 索引模板介绍索引模板是告诉Elasticsearch如何在创建索引时配置索引的一种方法对于数据流，索引模板在创建流的备份索引时配置它们模板是在创建索引之前配置的创建索引时（手动或通过索引文档），模板设置将用作创建索引的基础有两种类型的模板：索引模板和组件模板组件模板是可重用的构建块，用于配置映射、设置和别名虽然可以使用组件模板构造索引模板，但它们不会直接应用于一组索引索引模板可以包含组件模板的集合，也可以直接指定设置、映射和别名以下条件适用于索引模板：可组

16.1 Explicit mapping使用Explicit mapping创建索引可以使用create index API 通过Explicit mapping创建新 indexPUT /my-index-000001{ "mappings": { "properties": { "age": { "type": "integer" }, "email": { "type": "keyword" }, "name": { "type"

15.1 动态field映射15.1.1 Customizing detected date formatsdynamic_date_formats可以自定义以支持所需的 date formats：PUT my-index-000001{ "mappings": { "dynamic_date_formats": ["MM/dd/yyyy"] }}PUT my-index-000001/_doc/1{ "create_date": "09/25/2015"}15

14.1 映射类型和字段的信息存储（包含）在映射（mapping）中Elasticsearch支持以下简单字段类型：14.2 映射规则Elasticsearch将使用动态映射猜测字段类型，这类型来自于JSON的基本数据类型，使用以下规则：查看映射GET /gb/_mapping/tweet14.3 动态映射Elasticsearch最重要的功能之一是不必首先创建index、定义映射type和定义field ，只需为文档编制index，index、type和field

13.1 Elasticsearch集群简介Elasticsearch用于构建高可用和可扩展的系统。扩展的方式可以是购买更好的服务器(纵向扩展(vertical scale or scaling up))或者购买更多的服务器（横向扩展(horizontal scale orscaling out)）。Elasticsearch虽然能从更强大的硬件中获得更好的性能，但是纵向扩展有它的局限性。真正的扩展多数是横向的，它通过增加节点来均摊负载和增加可靠性。13.2 集群的节点（node）

###12.1 RMDB与elasticsearchRMDB与elasticsearch结构对比Elasticsearch集群可以包含多个索引(indices)（数据库），每一个索引可以包含多个类型(types)（表），每一个类型包含多个文档(documents)（行），然后每个文档包含多个字段(Fields)（列）。12.2 集群和节点健康集群健康查询curl -X GET "localhost:9200/_cat/health?v“Status状态说明节点健

Elasticsearch在生产中使用cluster之前必须考虑许多事项：Path设置Cluster name设置Node name设置Network host设置Discovery设置Heap size设置JVM heap dump path设置GC logging设置Temporary directory设置JVM fatal error log设置Cluster备份11.1 路径设置如果正在使用 .zip 或 .tar.gz 归档， data 和 logs 目录在.

配置文件应包含特定于node的设置例如node.name和paths或node为了能够加入cluster而需要的设置例如cluster.name和network.hostElasticsearch 有三个配置文件：elasticsearch.yml 用于配置 Elasticsearchjvm.options 用于配置 Elasticsearch JVM 设置log4j2.properties 用于配置 Elasticsearch 日志记录对于存档分发，配置目录位置默认为 .