摄取、转换、充实和输出 yarn.resourcemanager.webapp.address 页面 Applications RUNNING 数据 Logstash 配置文件模板

卡布奇诺加点冰

于 2018-07-31 17:55:41 发布

阅读量506

点赞数

CC 4.0 BY-SA版权

分类专栏： Elastic Stack ----Logstash

本文链接：https://blog.youkuaiyun.com/qq_16592497/article/details/81317903

Elastic Stack 同时被 2 个专栏收录

12 篇文章

订阅专栏

----Logstash

7 篇文章

订阅专栏

本文介绍了一种使用Logstash摄取、转换、充实和输出YARN Applications Running数据的方法，通过定制化的配置文件，实现从指定文件路径读取数据，并利用grok过滤器解析日志，最后将数据输出到Elasticsearch中。

#${logstash_dir}/config/apps_running.conf.template
#摄取、转换、充实和输出 yarn.resourcemanager.webapp.address 页面 Applications RUNNING 数据 Logstash 配置文件模板

input {
  file { path => "${logstash_input_file}" }
}
filter {
  grok {
    match => { "message" => "%{USER:application_id} %{USER:queue} %{USER:user}" }
    remove_field => ['message']
  }
}
output {
  elasticsearch { 
    hosts => ["${elasticsearch_hosts}"]
    index => "${elasticsearch_index}"
  }
}