ELK大数据日志分析平台--(2)Logstash数据采集和分析

本文详细介绍了Logstash的安装配置、使用方法,包括从标准输入、文件到Elasticsearch的输出,以及如何利用过滤器如Grok进行数据结构化处理。Logstash作为数据管道,能有效收集、解析并发送多种来源的数据到Elasticsearch,实现日志管理和分析。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、logstash简介

Logstash是一个开源的服务器端数据处理管道。

logstash拥有200多个插件,能够同时从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的 “存储库” 中。(大多都是 Elasticsearch。)

Logstash管道有两个必需的元素,输入和输出,以及一个可选元素过滤器。

在这里插入图片描述

输入

输入:采集各种样式、大小和来源的数据

  • Logstash 支持各种输入选择 ,同时从众多常用来源捕捉事件。
  • 能够以连续的流式传输方式,轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

在这里插入图片描述

过滤器

过滤器:实时解析和转换数据
数据从源传输到存储库的过程中,Logstash 过滤器能够解析各个事件,识别已命名的字段以构建结构,并将它们转换成通用格式,以便更轻松、更快速地分析和实现商业价值。

  • 利用 Grok 从非结构化数据中派生出结构
  • 从 IP 地址破译出地理坐标
  • 将 PII 数据匿名化,完全排除敏感字段
  • 简化整体处理,不受数据源、格式或架构的影响

输出

输出:选择您的存储库,导出您的数据

  • 尽管 Elasticsearch 是我们的首选输出方向,能够为我们的搜索和分析带来无限可能,但它并非唯一选择。
  • Logstash 提供众多输出选择,您可以将数据发送到您要指定的地方,并且能够灵活地解锁众多下游用例。

在这里插入图片描述

二、Logstash安装与配置

软件下载:https://elasticsearch.cn/download/

注意:下载的版本要和es的版本一致

安装:
我们之前的es集群部署在server1、server2和server3上,Logstash部署在server4(172.25.1.4)上:

Logstash依赖于jdk,因此首先安装jdk:

[root@server4 ~]# ls
jdk-8u181-linux-x64.rpm  logstash-7.6.1.rpm
[root@server4 ~]# rpm -ivh jdk-8u181-linux-x64.rpm 
[root@server4 ~]# rpm -ivh logstash-7.6.1.rpm 

安装后其配置文件的位置为:/etc/logstash/logstash.yml

测试是否安装好:

标准输入到标准输出:

[root@server4 bin]# /usr/share/logstash/bin/logstash -e 'input { stdin { } } output { stdout {} }'
......
[INFO ] 2020-06-07 17:06:25.315 [Api Webserver] agent - Successfully started Logstash API endpoint {:port=>9600}

等待成功启动后,输入测试字符:
在这里插入图片描述从返回可以看出Logstash正常工作。

输入完成后按ctrl+c退出。

三、Logstash的使用

使用文件运行

当然也可以在include目录/etc/logstash/conf.d/中定义conf文件,然后在conf中输入:

[root@server4 conf.d]# vim test.conf
[root@server4 conf.d]# cat test.conf 
input {
	stdin {}
}
output {
	stdout {}
}

用文件的形式运行:

[
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值