Logstash是一个开源数据收集引擎,具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来,并将数据标准化到你所选择的目的地。基本步骤:输入input 数据过滤处理filter 数据输出output
1、下载安装包
官网下载地址:https://elasticsearch.cn/download/#seg-3
网盘下载地址:链接:https://pan.baidu.com/s/1D0yzul1jAawPq9haOcaNIA
提取码:6m9v
2、解压后,在bin目录下创建:logstash.conf 文件,内容如下:
input {
stdin{
}
}
output {
stdout{
}
}
过滤器:实时解析和转换数据 安装filter插件
./logstash-plugin install logstash-filter-multiline
注意:以上安装需要等待10分钟左右
Logstash 能够动态地转换和解析数据,不受格式或复杂度的影响:
利用 Grok 从非结构化数据中派生出结构
从 IP 地址破译出地理坐标
将 PII 数据匿名化,完全排除敏感字段
输出:选择你的存储,导出你