日志收集及数据清洗 fluentd fluent-bit

第一阶段: 初级清洗，留下可用json格式内容

组件配合 ：

• fluent-bit 负责解析及数据过滤
• fluentd 负责接收fluent-bit解析后的数据

fluent-bit是一种在Linux，OSX和BSD系列操作系统运行，兼具快速、轻量级日志处理器和转发器。它非常注重性能，通过简单的途径从不同来源收集日志事件。fluent-bit 官网

fluentd 轻量级高性能日志传输工具，拥有丰富的日志采集方式，方便地将日志采集起来。fluentd 官网

fluent-bit

1.作用：负责解析数据，以及发送数据

2.安装及环境配置

在合适的位置解压fluent-bit Docker镜像

准备三种类型文件夹

cd fluentbit/fluent-bit-1.6.3/build/bin/test
mkdir input
mkdir ouput
mkdir conf

input :放置需要解析的日志

conf ：放置配置文件和解析规则

output： 放置解析后的干净文本

后台执行解析

cd fluentbit/fluent-bit-1.6.3/build/bin/test/conf/
../../fluent-bit -c input.con

3.具体使用规则

针对一个关键词类，往往需要有input.conf 和 parser.conf 两个文件互相搭配

input.conf

基础【INPUT】配置