filebeat+es+kibana搭建攻略

sf131097

于 2020-05-21 10:13:07 发布

阅读量1.7k

点赞数

CC 4.0 BY-SA版权

分类专栏：共享

本文链接：https://blog.youkuaiyun.com/sf131097/article/details/106250449

本文介绍了如何配置filebeat的多索引和多行日志处理，以及在kibana中创建pipline进行日志预处理。通过示例展示了grok正则解析不同类型的日志，并提醒了在部署过程中es容器启动的注意事项。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.首先多索引的filebeat.yml配置如下

并且采集的时候多行日志处理成一行：

multiline.pattern: ^\[ 不以[开头的都被合并到上一行
multiline.negate: true 不匹配pattern的都合并到上一行
multiline.match: after 合并到上一行的末尾

filebeat.inputs:

- type: log

  paths:
    - /admin/logs/deviceserver.js/biz*.log
  fields:
    index: 'biz'
  multiline.pattern: ^\[
  multiline.negate: true
  multiline.match: after

- type: log
  paths:
    - /admin/logs/deviceserver.js/deviceserver*.log
  fields:
    index: 'device'
  multiline.pattern: ^\[
  multiline.negate: true
  multiline.match: after
#============================= Filebeat modules ===============================

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml

  reload.enabled: false
#==================== Elasticsearch template setting ==========================

setup.template.settings:
  index.number_of_shards: 1

#-------------------------- Elasticsearch output ------------------------------
output.elasticsearch: