摄取、转换、充实和输出 yarn.resourcemanager.webapp.address 页面 Cluster Scheduler 数据 Logstash 配置文件模板

卡布奇诺加点冰

于 2018-07-31 16:14:34 发布

阅读量341

点赞数

CC 4.0 BY-SA版权

分类专栏： Elastic Stack ----Logstash

本文链接：https://blog.youkuaiyun.com/qq_16592497/article/details/81315231

Elastic Stack 同时被 2 个专栏收录

12 篇文章

订阅专栏

----Logstash

7 篇文章

订阅专栏

本文介绍了一种使用Logstash解析YARN ClusterScheduler页面数据的方法，通过定制化的配置文件，实现从特定路径读取日志，应用grok插件进行字段匹配，去除原始消息字段，并将处理后的数据输出到Elasticsearch中。

#${logstash_dir}/config/cluster_scheduler.conf.template
#摄取、转换、充实和输出 yarn.resourcemanager.webapp.address 页面 Cluster Scheduler 数据 Logstash 配置文件模板

input {
  file { path => "${logstash_input_file}" }
}
filter {
  grok {
    match => { "message" => "(?<queue_name>[\w-]+) %{NUMBER:absolute_used_capacity_percent:float} %{NUMBER:absolute_capacity_percent:float}" }
    remove_field => ['message']
  }
}
output {
  elasticsearch {
    hosts => ["${elasticsearch_hosts}"]
    index => "${elasticsearch_index}"
  }
}