单个logstash文件收集多个filebeat日志

原创

已于 2023-09-28 14:58:21 修改 · 328 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#python #java #数据库 #前端 #服务器

于 2020-04-26 14:52:00 首次发布

本文介绍如何使用Filebeat配置收集nginx和Java应用日志，详细展示了针对不同日志类型的处理策略，包括JSON解析、地理信息提取及Elasticsearch索引设定。

一背景说明

我现在安装了logstash,只配置了一个文件，想同时收集nginx和java的日志，nginx要显示ip,国家城市，状态码，等，java要显示日志的具体内容。

二 nginx filebeat设置

filebeat.inputs:
# 收集 nginx 日志
- type: log
  enabled: true
  paths:
    - /var/log/nginx/*.log
  tags: ["nginx_logs"]
 # 日志是json开启这个
  json.keys_under_root: true
  json.overwrite_keys: true
  json.add_error_key: true
  # 如果值为ture，那么fields存储在输出文档的顶级位置
  fields_under_root: true
  fields:
    app: easydong
    logtype: nginx_logs


filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 1
setup.kibana:
output.logstash:
  hosts: ["172.17.199.231:5044"]

processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

三 java filebeat设置

filebeat.inputs:
- type: log
  enabled: true
  paths: 
    
     -  /xs/logs/app-front1/easydong-app/app.log 
  encoding: utf-8
  tail_files: true
  
  fields:
    app: easydong
    type: applog-V1-appfront1
  fields_under_root: true
  multiline:
     pattern: '^[0-2][0-9]:[0-5][0-9]:[0-5][0-9]'
     negate: true
     match: after
- type: log
  enabled: true
  paths:
     -  /xs/logs/app-front1/easydong-adm