记一次logstash解析丢失全量字段message的情况
应用场景: kafka中存json数据,经logstash“丰富化”后,发送给es存储的过程,如果在input阶段就把数据转换为json,会造成后边处理数据的时候,无法获取全量字段(原始数据),。input{ #异常登录json字符串数据 kafka { group_id => "test-consumer-group" #如果数据在 input阶段 进行 json格式转换,后面在进行数据处理的时候将会失去 全量字段(原始信息) #codec => "js
原创
2020-08-06 10:40:36 ·
1960 阅读 ·
2 评论