体验ELK

本文深入探讨ELK(Elasticsearch、Logstash、Kibana)日志分析系统的应用,涵盖Logstash的日志采集与过滤,Elasticsearch的数据存储与检索,以及Kibana的可视化操作。通过具体配置示例,讲解如何高效处理和分析日志数据。

如今数据是越来越重要了,日志就是很重要的数据来源了。通过对日志的分析,可以了解用户习惯、发现系统缺陷。通过shell脚本、awk就可以对日志文件进行处理,但是很耗费时间、精力。所以ELK(Elasticsearch、Logstash、Kinaba)就成为了日志分析的不二首选。笔者在对ELK的学习过程中get到两点:

  • 新学习一项技能的时候,有官方文档(手册)优先使用官方文档(即便是英文,也可以借助翻译工具),可以少走弯路;
  • 坊间:【Elasticsearch 来源于作者 Shay Banon 的第一个开源项目 Compass 库,而这个 Java 库最初的目的只是为了给 Shay 当时正在学厨师的妻子做一个菜谱的搜索引擎。】(真的是很有爱!)

ELK系统至少有三部分组成:

  1. Logstash:读取日志文件,进行过滤,输出到MQ或者ElasticSearch;
  2. ElasticSearch·:日志的记录经过处理之后,以文档的形式存储在ElasticSearch服务器上;
  3. Kibana:算是ElasticSearch的一个可视化操作系统,类似一个后台管理系统,对ElasticSearch服务器的数据进行筛选、查询、统计。

Logstash:

logstash -f file.conf

启动Logstash,以配置文件的方式,file.conf文件中三部分需要写:

input {
  file {
        path => [ "/data/tmp.log" ]   #日志的目录
        start_position => "beginning"  # 从文件开头采集
    }
}
filter {
    #各种插件
}
output {
    #输出(可以输出到kafka、Elasticsearch等)
    stdout {
	    codec=>rubydebug
	}
}

Logstash6.5官方文档 

Logstash的使用,filter模块使用各种插件对日志文件进行初步简单过滤,如分割等。output模块配置过滤后的文档内容输出位置,可以直接输出到ElasticSearch、MQ(Rabbit、Kafka)等一般会先输出到MQ,经过处理(如:解密、内容解压缩)之后,再将内容存储到ElasticSearch(这时候就需要用到ElasticSearch Client了),ElasticSearch官方提供了Java、Python等语言的Client。

 

ElasticSearch:

ElasticSearch,翻译成中文的意思就是【弹性搜索】。直观的感觉是将文本数据结构化存储,最常用的应该就是将数据存储为Json数据格式。调用ElasticSearch服务提供的接口(RESTFUL),可以对进行增加、删除、甚至是修改。ElasticSearch服务成功部署在Linux服务器上,需要用非root用户(为保证安全)。ElasticSearch的操作过程中有两个参数很重要,index和type,从这两个维度去划分文档记录。如index为日期,type为error就可以代表某天的错误日志记录。

ElasticSearch6.5官方文档

ElasticSearch主要是数据存储,暂不做过多介绍。

Kibana:

Kibana可看做是对ElasticSearch的一个补充(个人认为),Kibana开箱即用,提供了友好的界面,更加方便进行ElasticSearch的操作,无须开发(运维)人员写代码(如有特殊需要,也可在console窗口写RESTFUL请求操作ElasticSearch)。最重要的是,Kibana可以以各种图表的形式展示结果,更加友好。

Kibana手册(中文)

Kibana最常用的模块是【Discover】、【Visualize】、【Dashboard】。

【Discover】:按照条件筛选数据,形成数据集合;

【Visualize】:将【Discover】形成的数据集合以图形表格的形式展示出来,如饼状图;

【Dashboard】:将多个【Visualize】图表整合,一块展示出来。

另外还有两个模块:【Management】、【Dev Tools】

【Management】:主要是index的管理界面,index pattern等管理等。

【Dev Tools】:提供console窗口,自定义请求操作ElasticSearch,查看返回结果。

dnSpy是目前业界广泛使用的一款.NET程序的反编译工具,支持32位和64位系统环境。它允许用户查看和编辑.NET汇编和反编译代码,以及调试.NET程序。该工具通常用于程序开发者在维护和调试过程中分析程序代码,尤其在源代码丢失或者无法获取的情况下,dnSpy能提供很大的帮助。 V6.1.8版本的dnSpy是在此系列软件更新迭代中的一个具体版本号,代表着该软件所具备的功能与性能已经达到了一个相对稳定的水平,对于处理.NET程序具有较高的可用性和稳定性。两个版本,即32位的dnSpy-net-win32和64位的dnSpy-net-win64,确保了不同操作系统架构的用户都能使用dnSpy进行软件分析。 32位的系统架构相较于64位,由于其地址空间的限制,只能支持最多4GB的内存空间使用,这在处理大型项目时可能会出现不足。而64位的系统能够支持更大的内存空间,使得在处理大型项目时更为方便。随着计算机硬件的发展,64位系统已经成为了主流,因此64位的dnSpy也更加受开发者欢迎。 压缩包文件名“dnSpy-net-win64.7z”和“dnSpy-net-win32.7z”中的“.7z”表示该压缩包采用了7-Zip压缩格式,它是一种开源的文件压缩软件,以其高压缩比著称。在实际使用dnSpy时,用户需要下载对应架构的压缩包进行解压安装,以确保软件能够正确运行在用户的操作系统上。 dnSpy工具V6.1.8版本的发布,对于.NET程序员而言,无论是32位系统还是64位系统用户,都是一个提升工作效率的好工具。用户可以根据自己计算机的操作系统架构,选择合适的版本进行下载使用。而对于希望进行深度分析.NET程序的开发者来说,这个工具更是不可或缺的利器。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值