ELK日志合并

一. 需求：

        程序中有这样一类日志，在客户端发起API请求前，主动记录了开始日志，请求响应返回给前端后，前端又记录了一条结束日志。 程序中另有一个日志画面，期望在显示这类日志时，把相对应的开始和结束日志合并成一条显示，以方便调查。

二. 问题：

       1 成对的开始和结束日志中都记录了同一个bizKey，可以基于该key合并；

       2 日志通过log4j记入文件，由filebeat收集，通过 logstash处理，存储到 es，es中的日志不保证顺序，

       3 日志画面读取es中的日志。

三. 做法：

     1. 程序处理：

         把符合条件的日志读出来，在程序中依据bizKey进行合并；

     2. logstash处理合并：

        配置类似以下：

input { ...... } 
filter { 

  # 没有bizKey的给加一个uuid的key
  if ![bizKey] { 
    uuid { target => "bizKey" overwrite => true } 
  }
} 
output { 
  elasticsearch {
     ...... 
     document_id => "%{bizKey}" 
     doc_as_upsert => true 
     action => "update" 
     script => " 
        // 此处写Painless脚本
        ctx._source.EndContent = params.event.get('EndContent');
  }
}

注意：

1 output里指定的文档Id指定为bizKey;

2 doc_as_upsert=true:  当key一致时，是否执行update, 默认false，key重复就丢掉了

   script是合并时要执行的脚本，不指定时，由ES根据内置的规则合并，基本上是后一条覆盖前一天同名字段，追加新字段； 指定了action="update"和script时，将使用脚本中的逻辑进行合并。

这里配置的upsert相关的几个参数，logstash 最终会生成 elasticsearch 的 API 调用，不同的组合产生的API调用行为不一样，部分和在ES文档里看到的不太对应，最终抓包抓了logstash实际发给es的请求，才搞明白不同组合干了啥，回头再整理出来。

另：logstash到es的api调用， aliyun的这个文档可以参考

更新插入（Upsert）_开发指南_Elasticsearch_企业版