Java开发 - ELK初体验

前言

前面我们讲过消息队列，曾提到消息队列也具有保存消息日志的能力，今天要说的EL看也具备这个能力，不过还是要区分一下功能的。消息队列的日志主要指的是Redis的AOF，实际上只是可以利用了消息队列来保存，却并不是消息队列本身的能力。ELK是当今非常流行的日志采集保存和查询的框架，然而他们俩各有用处，可以说互不干扰使用，且都是必须的，下面，我们来了解ELK。

ELK

什么是ELK

ELK是如今比较流行的一套框架，主要用于日志的采集保存和查询。线上情况，我们不能通过控制台来实时查看，但却可以通过日志输出来定位问题，查看必要的信息。如果保存成文件，也必然是极庞大的体量，并不适合我们去翻看，查找信息，这才有了ELH，其实对于ELK，大家也并不陌生，其中的E，就是我们前段时间学习的ES，全名Elasticsearch，中文名：全文搜索引擎。是不是很惊喜和意外？所以当然，L和K也是两个单独的系统，他们统称为ELK，下面，我们将逐一介绍这三个东西是什么。

E

E是我们前段时间学习的ES，全名Elasticsearch，中文名：全文搜索引擎。额～这个还要继续说吗？我觉得不用了吧？下面贴个前面的博客链接，大家点进去详细了解吧。

Java开发 - Elasticsearch初体验

L

L全称logstash，是一套日志采集工具，我们在前面没有讲过，它是一款开源的日志采集，处理和输出的软件，每秒可以处理上条数据，并且可以同时从多个数据来源采集并转换数据，然后将数据输出到指定的存储单元中(官方推荐的存储单元为Elasticsearch)。

数据来源可以是任何可存储数据的东西，如数据库，日志，redis等。

LogStash处理过程分为三步：

• input：数据输入，即数据的采集过程；
• filter：和过滤器一样哎，明显是采集完数据后可以在中间对数据进行一定的处理；
• output：处理完的数据当然是要输出啦，输出到指定的存储位置；

logstash和ES的关系很密切，一个常用的功能就是完成数据库和ES数据的同步，免去了我们手动同步的麻烦。

我们通过配置logstash，来监听数据库中单表，多表的更新变化，它本质上是一个定时器，实现简单，MQ实现ES与数据库同步则是实时性的、复杂性更高的、一致性强的。此处，我收回前言中提到的，Redis通过MQ来保存日志不是MQ本身功能的话，这话欠妥了。因为保存日志虽然是logstash的功能，但它也是通过封装一些实现来完成这个功能的。

在监听数据表变化的时候，我们需要规范的数据表结构。这段话我看到很多人都有说，博主觉得也对，但也不对，logstash在工作的时候确实需要监控表中某字段变化，但也不是说名字要固定为某字段，其实这个column是可以在配置中指定的，毕竟每一个人对数据的定义都不一样，出现名字不同的情况时有发生。

不过在使用logstash的时候也出现了一些不一样的声音。Logstash运行内存较大，占用CPU过高，影响性能，其还没有消息队列缓存，有数据丢失的隐患。基于此，出现了两种情况：

一类人选择对logstash进行调优，推荐这篇博客可以看看：ELK下之Logstash性能调优（从千/秒=>万/秒=>10万/秒

另一类人选择ELK + Filebeat，Filebeat会将日志数据收集并结构化后传输到Logstash上，如果filebeat直接传输给es，就会占用掉es的大量资源。这种工作方式推荐这篇博客看：基于ELK搭建网站实时日志监控平台

怎么办，感觉那两篇博客写的都比博主写的好啊，还更详细，如果有用，博主也不介意大家过去看哈，学习的目的是学会，而不是为了流量。即使如此，博主还是要硬着头皮把这篇博客写完。突然想到，要是我不去搜集资料，大家也看不到这么优秀的博文，我就是那个引路人，我太棒了。

K

K是Kibana，是ES的可视化工具，日志系统总不能一个个文件打开来看，这很不友好，这个可视化工具可以很好的帮到我们，我们可以在里面对需要的信息进行筛选过滤，快速查抄需要的有效信息。

Kibana的安装并不复杂，但有一个条件，需要和ES的版本保持一致。logstash则没有这样的要求，但为了好看，也保持一致吧。

L和E的那些事

都写到这里了，要给大家提一嘴，ELK不需要添加任何Java代码，全部通过配置完成。

当安装好软件，做好配置之后，logstash会自动监听配置中指定的表的字段，只要该字段发生变化，logstash就会收集变化行的信息，并周期性的向ES进行提交，ES中的数据就会自动和数据库中的变化数据同步了。

logstash的监听是通过Mybatis拦截器统一处理监听字段，一般是更新时间字段，在字段变化时就可以被监听到，这个可以解决监听非时间字段时，修改某数据时监听不到的的情况。

以上数据同步功能在ES中我们没有讲过，实际上这个问题也是很麻烦，不通过ELK，就需要手动去完成数据的同步，这是非常麻烦的。

除了上面提到的，还有一个很有意思的功能，比如我们有多个字段做了分词，当需要搜索某个词的时候需要对这几个做了分词的字段分别进行搜索关键词操作，logstash则简化了此步骤，它会将做了分词的几个字段合并成一个叫search_text的字段，所以在使用了ELK时，搜索关键词时，直接搜索search_text字段即可。

安装使用

E

关于ES的Docker安装启动，可在Docker中搜索elasticsearch，选择8.5.2版本，pull，下载完之后打开终端，输入：

docker run --name es -d -e ES_JAVA_OPTS="-Xms1g -Xmx1g" -e "discovery.type=single-node" -p 9200:9200 -p 9300:9300 elasticsearch:8.5.2

ES_JAVA_OPTS="-Xms1g -Xmx1g" 配置启动时内存大小，不配置的话默认是2G。 

L

关于logstash的Docker安装启动，可在Docker中搜索logstash，选择8.5.2版本，pull，下载完之后打开终端，输入：

docker run -d --name logstash -p 4560:4560 logstash:8.5.2

 

k

关于kibana的Docker安装启动，可在Docker中搜索kibana，选择8.5.2版本，pull，下载完之后打开终端，输入：

docker run --name kb -d -p 5601:5601 kibana:8.5.2

登录kibana 

登录kibana时会提示如下问题：

且我们也没设置过账号密码，提示需要去配置kibana.yml文件？博主跟着网上做了一大堆配置，发现最后都没有用，所以暂时不要去动他们的yml文件，就用原来的，先配置好基础的信息再说，点击forget password，弹出提示信息让我们在es中设置密码，在终端输入：

docker exec -it es /bin/bash 
bin/elasticsearch-reset-password --username kibana

会给你生成一个New value，上面账号填kibana，密码就是这个新的New value，点Conform按钮，就出现了下面的配置成功页面： 

配置成功后，又出现问题了：

怎么又出现了一个登录页面，我们真的没有设置密码呀，这时候，只能去添加密码了，发现了一个问题，后面再说，先说添加密码。其实在es启动时，就生成了一个elastic的超级用户，密码我们需要用同样的方式直接生成：

用这个用户和密码登录：

天可怜见，终于进来了。现在说说刚刚的问题是啥，通过官方的博客：Elastic：使用 Docker 安装 Elastic Stack 8.x 并开始使用

发现我们和官方进入的方式不太一样：

官方是通过token令牌完成配置的，而我们是通过设置kibana进来的，不知道这两种有什么差别，猜测应该属于登录后自动获取的登录令牌进来的，大家知道的可以留言告诉博主。

关于这个问题，我们在后台的用户管理列表发现了一点端倪：

kibana用户已经被禁止使用了，在这里我们也可以手动添加用户，而已经存在的用户则是不能进行编辑的，应该是留给其他服务用的默认账户密码，官方不希望我们修改，怕引起其他的错误。 

结语

如果自己做，还是推荐官方的做法。到此，他们之间的安装和基础配置算是完成了。关于kibana的使用，可以参见上面那篇博客，博主试了下可以的，更多使用方式，大家可自行查找，博主后期也会出一些详细案例教程出来，真是不容易啊，各种坑，对了如果实在要修改yml文件，你会遇到几个问题，顺带说下：

vim文件无法打开yml文件，需要安装vim，安装时提示你没有权限，这时候进入容器要通过此命令：

 

docker exec -it -u 0 xxxxx /bin/bash 

介入后安装vim：

docker stop es-node01
docker stop kib-01

 

这时候就可以通过vim打开yml文件了，比较坑的是，每个容器都需要这么做一遍，目前还没找到好的解决办法，有好的解决办法的小伙伴请不吝赐教。 

关于ELK，也是博大精深的东西啊，微服务中每一项都不可小觑，是在下孟浪了，学无止尽，学无止尽啊，你我共勉。