因为低调所以牛逼

es集群扩容操作相对比较简单，大概步骤记录如下：1、添加elasticsearch用户 adduser elasticsearch 2、设置JAVA_HOME环境变量 exportJAVA_HOME=/usr/jdk1.8.0_101 exportPATH=$JAVA_HOME/bin:$PATH 3、调整elasticsearch用户limit参数更改/etc/security/limits.conf文件 elasticsearch..

一、现象：ES中出现重复日志，具体表现如下：二、调查背景： 由于目前日志采集的整体流程如下：应用log4j2(flumeClient) → flume-collector(kafka-producer)→kafka→ logstash(kafka-consumer) → ES 由于这一流程的存在，在红色标识的前半段流程，本次文章中暂不做分析。（尽管可能会有多种其他原因导致kafka重复生产消息）。下面的分析主要针对蓝色标识的后半段流程进行分析。三、...

前言：项目中遇到索引库字段mapping映射类型不匹配的问题，需要修改mapping映射类型，于是就考虑删掉旧的mappings重新设计mappings字段类型再拷贝数据！第一步、先看下旧的索引库的 settings、mapping结构GET /intpolicy/_mappingGET /intpolicy/_settings?pretty第二步、看下旧的索引库数据量用来拷贝之后做数据量对比GET /intpolicy/_search第三步、创建新的索引库 注意settings、mappi.

创建新索引 新索引创建新mapping 原索引导出数据到新索引 新索引创建原索引一致的别名 删除原索引针对于第四步：这个就要用到索引别名了，如果你最开始建索引的时候没有考虑设计索引别名，那就杯具了。你可以把索引的名称设置成name_v1 别名设置为name，然后代码里面访问搜索的时候连接的其实是别名name；这样当你以后索引结构调整需要重新创建的时候，就可以在新建一个索引name_v2，然后把数据初始化完成之后，把原来索引的别名去掉，把name_v2的别名设置成name，这样代码就不用改动.

1.查看指定索引（intpolicy）内容GET /intpolicy/_search2.查看指定索引下mappings的数据结构GET intpolicy/_mappings?include_type_name=false（nclude_type_name=false）这个字段在es7中将会弃用3.在现有的mappings下添加字段（如果与canal服务以前使用可以实现es与mysql数据库实时同步，即新加的字段的值可以感知数据库对应字段的内容变动）PUT intpolicy/_m