ELK+Filebeat集中式日志解决方案(centos7)

一.ELK Stack 概述

   ELK是一组开源软件的简称,其包括Elasticsearch、Logstash 和 Kibana。ELK最近几年发展迅速,已经成为目前最流行的集中式日志解决方案。
  • Elasticsearch: 能对大容量的数据进行接近实时的存储,搜索和分析操作。 本项目中主要通过Elasticsearch存储所有获取的日志。

  • Logstash: 数据收集引擎,它支持动态的的从各种数据源获取数据,并对数据进行过滤,分析,丰富,统一格式等操作,然后存储到用户指定的位置。

  • Kibana: 数据分析与可视化平台,对Elasticsearch存储的数据进行可视化分析,通过表格的形式展现出来。

  • Filebeat: 轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装Filebeat,并指定目录与日志格式,Filebeat就能快速收集数据,并发送给logstash进行解析,或是直接发给Elasticsearch存储。

二.ELK常用的架构

1. 基础结构

基础架构

   单一的架构,logstash作为日志搜集器,从数据源采集数据,并对数据进行过滤,格式化处理,然后交由Elasticsearch存储,kibana对日志进行可视化处理。

2.多节点部署Logstash架构

logstash作为日志搜集器

    这种架构模式适合需要采集日志的客户端不多,且各服务端cpu,内存等资源充足的情况下。因为每个节点都安装Logstash, 非常消耗节点资源。其中,logstash作为日志搜集器,将每一台节点的数据发送到Elasticsearch上进行存储,再由kibana进行可视化分析。

3.多节点部署Filebeats架构

filebeats架构

Filebeats是一种轻量级的日志搜集器,其不占用系统资源,自出现之后,迅速更新了原有的elk架构。Filebeats将收集到的数据发送给Logstash解析过滤,在Filebeats与Logstash传输数据的过程中,为了安全性,可以通过ssl认证来加强安全性。之后将其发送到Elasticsearch存储,并由kibana可视化分析。

三.多节点部署Filebeats架构详解

1. centos系统上安装java8

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html ##下载java8rpm包上传到服务器
yum -y localinstall jdk-8u73-linux-x64.rpm

2.安装 Elasticsearch

rpm --import http://packages.elastic.co/GPG-KEY-elasticsearch  ##从官网导入gpgkey

vim /etc/yum.repos.d/elasticsearch.repo
echo '[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1
 yum -y install elasticsearch   ##YUM安装Elasticsearch
vi /etc/elasticsearch/elasticsearch.yml
network.host: localhost     #修改为仅本地接触到9200端口
注:为了安全起见,只允许本地访问9200端口。防止外部通过http api恶意操作9200端口。
systemctl start elasticsearch
systemctl enable elasticsearch

3. 安装Kibana

Kibana的rpm包与Elasticsearch共用一个GPG Key,因此不用再重新下载 gpg key.

vi /etc/yum.repos.d/kibana.repo
[kibana-4.4]
name=Kibana repository for 4.4
### 关于Linux日志分析的方法 Linux系统的日志文件通常存储在`/var/log/`目录下,这些日志包含了系统运行的各种状态信息和服务活动记录。通过对日志的深入分析,可以有效识别并解决系统中的各种问题[^1]。 #### 常见的日志类型及其位置 以下是几种常见的Linux日志类型及它们的位置: - **系统日志**:位于 `/var/log/syslog` 或 `/var/log/messages` 文件中(取决于发行版),主要记录系统级别的消息。 - **应用程序日志**:由具体的应用程序生成,例如 Apache 的访问日志 (`/var/log/apache2/access.log`) 和错误日志 (`/var/log/apache2/error.log`)。 - **安全日志**:如 `auth.log` 或 `secure` 文件,用于跟踪登录尝试和其他授权操作。 - **启动日志**:记录系统引导过程中的事件,一般存放在 `/var/log/boot.log` 中。 为了高效处理和解析这些日志数据,可以选择合适的工具来完成自动化分析工作。 --- ### 推荐使用的Linux日志分析工具 #### 1. Logwatch Logwatch 是 CentOS 系统自带的一款强大的日志分析工具,能够定期发送报告给管理员,帮助其了解服务器的整体健康状况。它可以按需定制输出的内容范围,并支持多种格式化选项以便更直观地展示结果[^2]。 ```bash sudo apt-get install logwatch # Debian/Ubuntu 安装命令 sudo yum install logwatch # RHEL/CentOS/Fedora 安装命令 ``` 执行以下脚本来查看最近一天内的汇总情况: ```bash logwatch --range 'yesterday' --output stdout --detail high ``` #### 2. LOGalyze 作为一款开源的企业级解决方案,LOGalyze 提供了图形化的界面让用户更加方便地管理和查询历史记录。该软件不仅限于读取本地机器上的文档,还允许连接远程数据库或者SNMP协议获取外部资源的数据流。此外,内置报警机制使得异常行为能被及时发现与响应[^3]。 安装步骤如下所示(适用于 Ubuntu): ```bash wget https://www.logalyze.com/download.php -O logalyze.deb sudo dpkg -i logalyze.deb sudo apt-get update && sudo apt-get upgrade -f ``` #### 3. ELK Stack (Elasticsearch, Logstash, Kibana) ELK stack 构建了一个完整的端到端平台来进行大规模分布式环境下的集中式日志收集、索引建立以及可视化呈现。其中 Elasticsearch 负责储存结构化后的 JSON 对象;Logstash 则承担传输管道角色负责从不同源头抽取原始资料再经过过滤器加工后送入目标仓库;最后借助 Kibana Web 应用实现交互式的探索体验。 部署流程较为复杂,这里仅给出基本概念性的指导: ```bash curl -fsSL https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list sudo apt-get update sudo apt-get install elasticsearch kibana logstash filebeat ``` 更多配置细节可参照官方文档进一步学习实践。 --- ### 小结 无论是简单的文本扫描还是复杂的关联规则挖掘,都有相应的技术手段满足需求。对于初学者而言建议先掌握基础命令行技巧配合 grep/sed/awk 进行初步筛选分类后再考虑引入第三方插件提升效率效果最佳。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值