Filebeat读取日志推送kafka（docker-compose）

简介

Filebeat是本地文件的日志数据采集器，可监控日志目录或特定日志文件（tail file），并将它们转发给Elasticsearch或Logstatsh进行索引、kafka等。带有内部模块（auditd，Apache，Nginx，System和MySQL），可通过一个指定命令来简化通用日志格式的收集，解析和可视化。

• 工作流程
  

1. 安装filebeat

mkdir filebeat/{
   etc,logs}
vim docker-compose-filebeat.yml

version: "3.3"
services:
  filebeat:
    image: filebeat:7.13.2
    container_name: filebeat
    #restart: always
    restart: unless-stopped
    user: root
    privileged: true
    volumes:
    - ./filebeat/etc/filebeat.yml:/usr/share/filebeat/filebeat.yml
    - ./filebeat/logs:/usr/share/filebeat/logs
    - /var/log/test:/logs    #映射本地需要收集的日志文件或目录

2. 编辑配置文件

vim 

filebeat.inputs:
#文件类型
- type: log
  enabled: true
  tail_files: true          #从文件末尾开始读取
#文件位置
  paths:
    - /logs/mysql.log
  scan_frequency: 10s       #每十秒扫描一次,如果设置为0s，则Filebeat会尽可能快地感知更新（占用的CPU会变高）。默认是10s
  close_older: 1h           # 如果一个文件在某个时间段内没有发生过更新，则关闭监控的文件handle。默认1h
#自定义字段
  fields:
    level: notice
    appname: mysql
#日志多行合并
  multiline:
        # pattern for error log, if start with space or cause by 
    pattern: '^\\d{4}/\\d{2}/\\d{2}'    #希望匹配到的结果（正则表达式）
    negate:  true       #值为 true 或 false。使用 false 代表匹配到的行合并到上一行；使用 true 代表不匹配的行合并到上一行
    match:   after      #值为 after 或 before。after 代表合并到上一行的末尾；before 代表合并到下一行的开头