logstash-过滤ES数据到新的ES

最新推荐文章于 2025-11-14 13:02:55 发布

原创

最新推荐文章于 2025-11-14 13:02:55 发布 · 1.2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#logstash #数据迁移

本文介绍了如何在背景需求下，利用Logstash过滤并迁移Elasticsearch（ES）集群中特定类型、特定时间段的数据到新的ES集群。详细操作步骤如下：（此处省略具体操作细节）

背景：过滤ES集群中特定类型的某个时间段的数据到新的ES集群
具体操作下：

###类型TCC
input{
  elasticsearch {
    hosts => "10.10.x.x:9200"
    index => "cqct_20200508_03"
    query => '{"query":{"bool":{"must":[{"range":{"optime":{"gt":"1591754706000","lt":"1591754706006"}}}],"must_not":[],"should":[]}},"from":0,"sort":[],"aggs":{}}'
    docinfo => true
    }
}
filter{
        if [@metadata][_type] != "TCC" {
        drop{}
  }
}
output{
        elasticsearch{
                hosts => "10.10.y.y:9200"
                index => "cqct_20200508_03"
                document_type => "TCC"
                document_id => "%{id}"
                codec => json_lines
        }
        stdout{
                codec => json_lines
        }

}

##RFID

input{
  elasticsearch {
    hosts => "10.10.x.x:9200"
    index => "cqct_20200508_*"
    query => '{"query":{"bool":{"must":[{"range":{"collectTime":{"gt":"1591754706000","lt":"1591754706006"}}}],"must_not":[],"should":[]}},"