logstash中字符串的split，对每个子串进行json解析

本文介绍如何使用Logstash处理特殊格式的JSON字符串，通过配置实现字符串的分割与解析，最终达到将原始数据转换为适用于Elasticsearch存储及Kibana可视化的格式。

最近遇到一个需求，大致是字符串用\t分割，每一个子串都是一个json串，需要用logstash对该字符串进行结构化处理，用于elasticsearch和可视化kibana。
字符串格式如下：

{"person":{"age":"11"}}     this is the sample
   1

该字符串期望分割成两个字段，并对第一个字段进行json解析。最终达到下面的形式：

field1:{
    field_person:{ field_age:11 }
}
field2:this is the sample
   1
2
3
4
5
6

下面直接上配置文件：

input{
  stdin{
     # codec=>rubydebug
        }
}
filter{
#       codec=>rubydebug
        mutate{
        split=>["message","     "]
                add_field => {
                        "field1" => "%{[message][0]}"
                }
                add_field => {
                        "field2" => "%{[message][1]}"
                }
                remove_field => ["message"]
        }
        json{
                source => "field1"
                target => "field1"
        }
}
output{
  stdout{
        codec=>rubydebug
  }
}
   1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27