码农兴哥的技术笔记

收集nginx的文件日志并写入到队列（kafka/redis），然后在另一台机器上消费队列中的日志数据并流转到。kibana dashboard 是一个统计数据展示面板，可以通过不同的维度进行统计和展示。我这里用kibana7.17.12版本演示，不同版本的kibana界面可能不一样。然后打开ES的页面，账号：elastic，密码就是你刚才设置的密码。然后重新启动kibana，再次访问，需要输入账号和密码。输入y开始设置，六种密码设置完成后，需要再次重启ES。，需要设置以下六种账户的密码。

使用ELK(ES+Logstash+Filebeat+Kibana)收集nginx的日志

Logstash的配置和用法，以及在ELK中收集系统日志并展示到kibana中的过程。Logstash是一个开源的、服务端的数据处理pipeline（管道），它可以接收多个源的数据、然后对它们进行转换、最终将它们发送到指定类型的目的地。Logstash是通过插件机制实现各种功能的，可以在下载各种功能的插件，也可以自行编写插件。Logstash实现的功能主要分为接收数据、解析过滤并转换数据、输出数据三个部分，对应的插件依次是input插件、filter插件、output插件。

一篇文档包含了一系列的字段，类似数据库表中一条记录，字段的类型可以指定或者通过Elasticsearch自动推算，支持数组，支持嵌套。Elasticsearch是面向文档的，文档是所有可搜索数据的最小单位。每一个文档都有一个元数据，元数据是用于标注文档的相关信息的。索引(Index)是文档的容器，是一类文档的结合。可以查看集群的健康度。

Elasticsearch是一个分布式搜索引擎系统，可以实现大数据近实时分析。Elasticsearch起源于Lucene，Lucene是基于Java语言开发的搜索引擎库类，创建于1999 年，2005年成为Apache顶级开源项目。Lucene 具有高性能、 易扩展的优点，但也有一些局限性：只能基于 Java语言开发，原生并不支持水平扩展。2004 年Shay Banon基于Lucene 开发了Compass，2010年Shay Banon重写了Compass， 取名Elasticsearch。

Ealsticsearch只是提供各种api，如果想直观的管理api，可以使用 elasticsearch-head 客户端工具。中的ThinkPHP6框架演示，给 config/common.php 中添加如下内容。修改ES的配置文件支持跨域，否则elasticsearch-head无法连接。然后查看 elasticsearch-head 中就有了刚才设定的demo-1。Kibana是ES的一个配套工具，可以让用户在网页中与ES进行交互。然后启动服务：php think run -p8087。