摄取、转换、充实和输出 yarn.resourcemanager.webapp.address 页面 Applications ACCEPTED 数据 Logstash 配置文件模板

卡布奇诺加点冰

于 2018-07-31 17:45:56 发布

阅读量823

点赞数

CC 4.0 BY-SA版权

分类专栏： Elastic Stack ----Logstash

本文链接：https://blog.youkuaiyun.com/qq_16592497/article/details/81317698

Elastic Stack 同时被 2 个专栏收录

12 篇文章

订阅专栏

----Logstash

7 篇文章

订阅专栏

本文介绍了一种使用Logstash摄取、转换、充实和输出YARN ResourceManager网页中Applications ACCEPTED数据的配置方法。通过file插件读取输入文件，grok插件进行字段匹配，最终将数据输出至Elasticsearch。此配置模板为处理YARN日志提供了一个高效解决方案。

#${logstash_dir}/config/apps_pending.conf.template
#摄取、转换、充实和输出 yarn.resourcemanager.webapp.address 页面 Applications ACCEPTED 数据 Logstash 配置文件模板

input {
  file { path => "${logstash_input_file}" }
}
filter {
  grok {
    match => { "message" => "%{USER:application_id} %{USER:queue} %{USER:user}" }
    remove_field => ['message']
  }
}
output {
  elasticsearch { 
    hosts => ["${elasticsearch_hosts}"]
    index => "${elasticsearch_index}"
  }
}