qq_35640866的博客

elasticsearch reindex 索引。

这个索引记录的是 节点的状态 统计了每个节点 索引数 查询情况 资源使用情况等等很多的数据 节点多 shard 多 数据量就大， 不需要禁止掉。es扩容一倍的数据节点以后 写入数据量增加1倍。业务反馈业务访问量没增加。禁止以后qps就降低了。配置监控数据只保留1天。

查看任务详情，id要是父节点。2、设置全局的搜索timeout。1、查询语句配置超时时间。分析执行时间长的语句。

【代码】查看es当前负载是那些任务引起。

超过95%，系统会对阿里云Elasticsearch集群中的每个索引强制设置read_only_allow_delete属性，此时索引将无法写入数据，只能读取和删除对应索引。单个节点分片过多导致的磁盘使用率高87，目前以及自动触发均衡机制（磁盘使用率超过90）恢复正常，es自己做了均衡分配恢复正常。超过90%，阿里云Elasticsearch会尝试将对应节点中的分片迁移到其他磁盘使用率比较低的数据节点中。磁盘使用率不均匀，一般是因为存在大分片，分片数和机器数不匹配引起的。这次出现的问题排除了，分片问题。

是因为节点没有做fullgc，导致jvm中引用增多没有释放，会导致cpu使用率升高。后台手动执行fullgc后，节点cpu恢复正常。建议对集群其他节点也做下fullgc。观察这个节点的jvm使用率比较高，怀疑是jvm内存没释放导致内存寻址效率低，引起cpu过高。es 单个节点cpu一直持续很高，其它节点cpu不高。解决方法：手动执行fullgc，使用jmap分析线程jvm。

添加字段对业务无影响，只是修改改了元数据。

wait_for_completion=false 放后台执行。conflicts=proceed 遇到冲突继续执行。slices=36 一共的副本数量 主和副本总数。scroll_size=2000 分批的数量。通过调整这个两个参数控制性能和es压力。

方法2、强制重启es 集群也可也终止恢复进程。方法1、删除索引可以终止，恢复进程。

1、es 开启 删除或关闭时索引名称支持通配符 功能。2、kibanan平台执行。

上面的脚本改成 通过参数传递的方式，因为 每次return doc[‘my_field’].value *？问号这个数字变化 es都会编译一次，如果用变量的方式只编译一次。Too many dynamic script compilations within, max: [75/5m]问题处理。这个时候es cpu100% 脚本编译比较耗资源。现象： es 每隔5分钟 会高一波。1、调小阀值降低 es cpu。

6、mapping优化，减少写⼊cpu开销，对于不需要查询在字段，配置"index":false,关闭倒排, 对于不需。4、字段如果只做terms查询， 如果没有range和agg聚合需求， 建议改为活着再插入一个keyword类型。7、集群索引⽐较⼩，存在mb，kb级别索引，主分⽚超过数据节点个数，建议调整为单分⽚，单主分⽚。8、业务存在索引 1主1副，主分⽚472G⼤⼩ 建议： reindex 拆分索引，没有。数据增量的话，建议8主1副，并且创建新索引，之后的数据写⼊到新索引中。

【代码】es 给现有的索引增加字段方法。

Yellow ： 主分片正常分配， 副本分片未正常分配。Green ： 主分片和副本分片正常分配。Red： 有主分片为正常分配。

1）slices大小的设置可以手动指定，或者设置slices设置为auto，auto的含义是：针对单索引，slices大小=分片数；针对多索引，slices=分片的最小值。3、等历史数据拆分赶上 按月双写的新索引（比如从10月12号开始双写， 历史数据拆分索引，到10月分的索引就可以了）4、建立索引别名，包含按月拆分的索引， 这样就可以通过别名查询历史数据， 写数据只需要写最新的一个月的数据就可以了。2、双写， 数据写入历史索引， 并且按照月拆分的新索引上(只需要写最新的索引上)。

POST /索引名字/_delete_by_query?最后改为 控制在一个小时范围内 ，一天的范围批量删除数据成功了。怀疑时数据量太大，内存不足但是程序没报错比较奇怪。POST /索引名/_forcemerge?POST 索引名字/_delete_by_query。删除一年的数据， 程序莫名终止， 数据删除不成功。delete文档所在的段做merge。

因为我们不需要通过cover_url 进行搜索，所以我们把index 设置成false 设置false 不支持搜索，但是支持terms聚合，设置成false ， 无法被搜索，但还是支持aggregation，并出现在_source 中。enabled— 设置false ，仅做存储，不支持搜索和聚合分析，（数据保存在_source中）设置为keyword。用于id， 枚举及不需要分词的文本，例如电话，email地址，手机号码等。在处理人类语言时，通过增加英文，拼音，标准分词器，提高搜索结构。

java的调用接口：client.prepareSearch(“index”).setPreference(“_primary”)。指定_primary 或者_primary_first(线上优先选择这个) 防止每次在主分片和从分片轮训结果不一致。elasticsearch可以使用preference参数来指定分片查询的优先级。

新建一个索引， 然后给旧的索引和新的索引 创建同一个别名， 并且允许写新的索引， 这样程序只需要把旧的索引名字改成新的别名，就可以实现， 查询旧的索引和新的索引， 写只写新的索引。POST /索引名/_forcemerge?再删除过程中，如果删除一年的数据大概1.3亿， 大概删除半个小时以后，后台删除进程会退出，并且无报错，数据无法删除。清理数据以后，merge是异步的，可能删除数据以后，不会立即释放doc 数量。控制每次只删除一天的数据可以删除成功，用的是es6.7版本，估计是数据超过了内存限制。