ELK日志分析

最新推荐文章于 2024-09-13 20:59:20 发布

原创

最新推荐文章于 2024-09-13 20:59:20 发布 · 353 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#elk #elasticsearch #搜索引擎

ELK（Elasticsearch, Logstash, Kibana）是一套日志集中处理解决方案，用于日志的收集、分析和可视化。Elasticsearch作为分布式搜索引擎存储日志，Kibana提供数据可视化，而Logstash则负责数据收集和预处理。在集群部署中，涉及Elasticsearch的集群配置、性能优化，以及Logstash和Kibana的安装与配置，确保日志系统的高效运行。" 88323926,4826909,转行大数据：从入门到精通的经验分享,"['大数据', '转行', '学习路径', '技能发展', '面试准备']

ELK概述
ELK平台是一套完整的日志集中处理解决方案，将ElasticSearch、Logstash和Kiabana 三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求。

ELK各组件介绍
ElasticSearch
是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。
Elasticsearch 是用Java开发的，可通过RESTful Web接口，让用户可以通过浏览器与Elasticsearch通信。
Elasticsearch是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大容量的日志数据，也可用于搜索许多不同类型的文档。

Kiabana
Kibana 通常与ElasticSearch一起部署，Kibana是Elasticsearch的一个功能强大的数据可视化 Dashboard，Kibana提供图形化的web界面来浏览Elasticsearch日志数据，可以用来汇总、分析和搜索重要数据。

Logstash
作为数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置。一般会发送给Elasticsearch。

Logstash 由Ruby 语言编写，运行在Java虚拟机（JVM）上，是一款强大的数据处理工具，可以实现数据传输、格式处理、格式化输出。Logstash具有强大的插件功能，常用于日志处理。

ELK的工作原理
在所有需要收集日志的服务器上部署Logstash；或者先将日志进行集中化管理在日志服务器上，在日志服务器上部署Logstash。

Logstash 收集日志，将日志格式化并输出到Elasticsearch 群集中。

Elasticsearch 对格式化后的数据进行索引和存储。

Kibana从ES群集中