JAVA进阶之路-ELK搭建以及使用

关注

原创最新推荐文章于 2026-09-23 15:45:45 发布 1.3k 阅读 AI 写同款· GEO 优化 ›

使用ELK搭建社工库 from:https://www.t00ls.net/thread-32593-1-1.html ELK是什么东西?ELK是ElasticSearch、Logstash、Kibana三个应用的缩写。 ElasticSearch简称ES，主要用来存储和检索数据。Logstash主要用来往ES中写入数据。Kibana主要用来展示数据。为什么用ELK?传统的社工库通常用MySQL数据库来进行搭建，在... 阅读详情

首先说下为啥要写ELK,刚进公司，因为公司以前有项目说是缺少日志系统，需要搭建一个ELK,所以就开始了我的摸坑之旅。下面进入正文。

ELK需要支持的技术有以下：

1、Elasticsearch（以下简称为es）

主要用于存入日志以及查询日志,为啥不用mysql存储查询呢,别问，问就是效率问题。(这个要说的太多,大家自己去慢慢查资料吧)

2、Logstash

用于实施的日志抓取,然后进行日志输出(有几种方法,一是输入到es里面,2就是传统的输入到数据库里面)

Logstash详细流程：input(输入)->decode(将数据按配置解码)->filter(过滤数据)->encode(将输出数据编码)->output (输出)

以上流程都是通过自己配置的配置文件进行:例如

input {
                # 从文件读取日志信息输送到控制台
           file {
           path => "/Users/jack/Desktop/person/elk/elasticsearch-6.1.1/logs/elasticsearch.log"
           #codec => "json" ## 以JSON格式读取日志
           type => "elasticsearch"
           start_position => "beginning"
               }
               }

filter {
mutate {
split => ["message", "|"]
}
}

               output {
               # 标准输出
               # stdout {}
               # 输出进行格式化，采用Ruby库来解析日志
               stdout { codec => rubydebug }
               }

3、kibana

实时以图形界面显示es的数据，更方便进行日志的查询以及支持数据的复杂查询。还能将数据进行报表化.(ps:有个点要注意,kibana和es的版本问题,要注意一下,官方文档说是两个版本不能差别太大.经过自己踩的坑知道kibana的版本尽量要比es的版本高,如果是相同的话kibana启动时会报waring,虽然这东西不管也没事,看自己需求嘛。logstarsh的版本也尽量别差太多,虽然这个不知道有没有影响.)

4、JDK

这个就不用多说了,因为elk是需要jdk的支持所以需要安装

接下来就到了安装环节首先安装es

使用wget 下载elasticsearch安装包
       wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.2.tar.gz
   解压
       tar -zxvf elasticsearch-6.2.2.tar.gz

然后进入bin目录下面 elasticsearch这文件就是运行文件执行./elasticsearch就行了

运行中你可能会遇到一些错误,比如以下的。

1、问题一
           Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c5330000, 986513408, 0) failed; error='Cannot allocate memory' (errno=12)
           #
           # There is insufficient memory for the Java Runtime Environment to continue.
           # Native memory allocation (mmap) failed to map 986513408 bytes for committing reserved memory.
           # An error report file with more information is saved as:
           # /usr/local/software/temp/elasticsearch-6.2.2/hs_err_pid1912.log
       解决：内存不够，购买阿里云的机器可以动态增加内存

       2、问题二
           [root@iZwz95j86y235aroi85ht0Z bin]# ./elasticsearch
           [2018-02-22T20:14:04,870][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [] uncaught exception in thread [main]
           org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root
           at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:125) ~[elasticsearch-6.2.2.jar:6.2.2]
           at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:112) ~[elasticsearch-6.2.2.jar:6.2.2]
           at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:86) ~[elasticsearch-6.2.2.jar:6.2.2]
           at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:124) ~[elasticsearch-cli-6.2.2.jar:6.2.2]
       解决：用非root用户
           添加用户：useradd -m 用户名然后设置密码 passwd 用户名

       3、问题三
           ./elasticsearch
           Exception in thread "main" java.nio.file.AccessDeniedException: /usr/local/software/temp/elasticsearch-6.2.2/config/jvm.options
       解决：权限不够 chmod 777 -R 当前es目录

常见配置问题资料：https://www.jianshu.com/p/c5d6ec0f35e0

4、问题4ERROR: bootstrap checks failed
max virtual memory areas vm.max_map_count [65530] is too low, increase to at least

           临时设置：sudo sysctl -w vm.max_map_count=262144
           永久修改：
           修改/etc/sysctl.conf 文件，添加 “vm.max_map_count”设置
           并执行：sysctl -p

这时我还没法进行外网访问我们必须改下配置。

1、用vim命令打开config下面的elasticsearch.yml文件,然后进入配置，找到netword.host这个单词将注解去掉,然后将后面的ip改成0.0.0.0,找到node.name,设置自己的节点名，最后找到cluster.initial_master_nodes这个参数,将注释去掉，将后面的数组改成你的节点名，只需要一个就行，类似于这样。然后wq进行保存退出，最后再运行es。

设置外网访问后可能会启动报错,接下来你可以对照下面这个blog进行错误的排除

https://blog.youkuaiyun.com/qq_38486203/article/details/80149185

如果成功启动后你可以在外网访问你的es,es默认的端口号是9200 如果想要修改可以在elasticsearch.yml里面的http:port修改即可。

运行成功的页面如下

如果还是无法成功将防火墙关闭,如果是阿里云的服务器.要在后台将安全机制加入对应的端口比如我的es端口是9201就需要将9201加入安全机制。以下kibana的端口也是如此 kibana的端口是5601 我下面就不再赘述了。

这样 es就算是大功告成了。

接下来就是我们的logstash了

下载安装包
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.2.2.tar.gz

解压：tar -zxvf logstash-6.2.2.tar.gz

快速启动(需要java8 jre,目前不支持java9)
./logstash -e 'input {stdin {}} output {stdout {}}'

logstash相比es的配置就方便多了基本安装就可以直接运行了,如果启动报错的话可以切换root用户试下，这个如果没有设置权限的只能默认为root用户才能启动哦。

以上那个快速启动是自己手动输入然后自动输出来，我们需要编写一个配置文件来抓取log日志文件然后进行输入到es里面

详细的我就不多说了,我们现在目标是将elk搭建起来,具体的内容大家自行去了解，接下我直接给大家贴个配置内容根据自己的状况去自行修改。

配置三 test3_es.conf
========================================

# 输入
           input {
           file { # 这是你要抓取的日志文件路径
           path => "/Users/jack/Desktop/person/elk/elasticsearch-6.1.1/logs/elasticsearch.log"
# 这是日志的类型自己定义，方便以后日志过多无法辨认类型。
           type => "elasticsearch"
           start_position => "beginning" #从文件开始处读写
           }
           }

# 输出

           output{
           elasticsearch{
           hosts=>["127.0.0.1:9201"] # es的地址后面端口按你们配置的去改。
           index => "es-message-%{+YYYY.MM.dd}"# 这是创建索引的名字.以时间去命名(索引是啥你们可以具体去看es的具体教程.我们这只需要搭建起来,就先不了解了.)
           }
# 输出进行格式化，采用Ruby库来解析日志
           stdout{codec => rubydebug}
           }
       ========================================

我们这就省略了filter,就不需要去过滤了。这个文件可以新建在config目录下面,启动的时候用的命令就会有所不同了我们需要用

./logstash -f 配置文件路径这样进行启动 (启动logstash时必须保证你配置文件内配置的es是启动的状态,要不然logstash是无法启动的)

验证
查看索引列表 http://localhost:9201/_cat/indices?v //如果是外网访问的就将localhost改成相对应的ip
查看数据 http://localhost:9201/es-message-2018.02.26/_search

ok,es和logstash安装并且连接完成了接下来就是最后一步 kinaba

下载安装kibana
wget https://artifacts.elastic.co/downloads/kibana/kibana-6.2.2-linux-x86_64.tar.gz
解压 tar -zxvf kibana-6.2.2-linux-x86_64.tar.gz

外网访问
开放端口,修改配置文件 confing目录下的kibana.yml
server.host: "0.0.0.0"

关联es

修改配置文件 confing目录下的kibana.yml

elasticsearch.hosts: ["http://localhost:9201"]//根据自己配置的es进行修改

然后进入bin目录下面输入./kibana 就能启动了 (跟logstash一样，必须确定配置的es启动才能启动成功)

以上的启动命令都是无法退出的一退出相对应的服务就直接关闭所以我们需要使用守护进程后台启动需要使用到

nohup XXX & 例如 nohup ./kibana &