lmj3732018的博客

Kibana是一个强大的开源数据可视化工具，它作为Elastic Stack（以前称为ELK Stack）中的一部分使用，与Elasticsearch紧密集成，Elasticsearch中的数据即通过 Kibana 界面向用户展示。它提供了一个直观易用的界面，帮助用户通过各种图表、图形和地图来探索、分析和理解其数据。

Elastic Agent是Elastic Stack中的一个全新组件，旨在简化和统一监控和集成管理流程。它是一个轻量级的代理，可以部署到各种不同类型的主机和容器中，用于收集系统指标、日志和事件数据，并将其发送到Elasticsearch进行存储和分析。在es7及以前的版本中，使用 elastic stack 监控主机、采集日志分别要使用filebeat、metribeat，且要进入到后台完成相关配置。

对于任何一个系统来讲，性能优化最先优化的应该是架构，如果架构针对业务的应用场景考虑不够全面、不够长远，那么后面能做的优化效果可能不会太理想。

1. 搜索上下文(query context)：使用搜索上下文时，Elasticsearch需要计算每个文档与搜索条件的相关度得分，这个得分的计算需使用一套复杂的计算公式，有一定的性能开销，带文本分析的全文检索的查询语句很适合放在。可包含多个查询条件，不存在must和fiter条件时，至少要满足多个查询条件中的一个，文档才能被搜索到，否则需满足的条件数量不受限制,匹配到的查询越多相关度越高，也属于搜索上下文。可包含多个查询条件，每个条件均满足的文档才能被搜索到，每次查询需要计算相关度得分，属于搜索上下文。

对于es来讲，有专门的可视化操作工具，那就是 Kibana，通过这个工具，我们可以很轻松的对es的索引、视图进行管理。

ElasticSearch是一款开源的分布式搜索和数据分析引擎，它专门设计用于处理大规模的文本数据和实现高性能的全文检索，业内简称为es。es使用倒排索引和缓存等技术，在海量数据中能做到快速的搜索和高效的查询。它的设计目标为：一切为了查询。

【代码】heatbeat的备用配置，适应各种场景。

Keepalived 通过虚拟ip绑定物理机网络接口的方式实现目标服务的高可用代理，被代理的服务上都需要安装 Keepalived。实际ip: 192.168.122.118、192.168.122.119。虚拟ip: 192.168.122.135。使用上述命令，会看到有且只有一个机器的网卡绑定了虚拟ip。进入解压好的keepalived目录。

jar包下载后用上面修改的yml配置文件覆盖jar包中的application.yml的内容然后启动服务。到这一步，告警数据就可以正常发送到es中了，接下来需要从es中取出数据并发送邮件。这里采用java服务自定义从es中取数据并发送邮件的功能。

使用heartbeat可以实现在kibana界面对 Mysql 服务存活状态进行观察，如有必要，也可在服务宕机后立即向相关人员发送邮件通知。

使用heartbeat可以实现在kibana界面对redis服务存活状态进行观察，如有必要，也可在服务宕机后立即向相关人员发送邮件通知。

登入kibana ，进入observability，添加 uptime，检查 heartbeat 状态。正常后即可在observability >uptime看到监控的实例。

metriceat的安装部署参考章节： 监控组件>Metricbeat安装使用，这里不再赘述。登入kibana，进入dashboard，搜索 redis，即可看到相关图表。进入metricbeat安装目录。

metriceat的安装部署参考章节： Metricbeat安装使用，这里不再赘述。进入metricbeat安装目录。

本文使用将使用filebeat收集mysql日志信息，发送到redis中缓存，由logstash从redis中取出，发送es中存储，再从kibana中展示。

监控的服务在哪个机器上则在哪个机器上部署。在kiana的 主机 模块查看。

登入kibana，点击添加集成→ 搜索Elastic APM→ 在Fleet中管理集成→添加Elastic APM集成→ 保持并更新。这是解决缺失相关索引模板的问题。1. 部署及安装所用的用户不能是root。登入kibana，点击APM模块查看。在java启动是添加代理。

Elasticsearch（简称为ES）是一个开源的分布式搜索和分析引擎，构建在Apache Lucene搜索引擎库之上。它提供了一个强大的全文搜索和实时分析功能，适用于大规模的数据存储、检索和分析。

1. 部署及安装所用的用户不能是root。

Filebeat是Elastic Stack中Beats家族的一员，是一款轻量级的日志数据收集工具。它专注于监控和收集日志文件，实时将日志数据发送到Elasticsearch、Logstash或者其他输出目的地。Filebeat简化了日志收集和传输的过程，帮助用户轻松管理和分析大规模的日志数据。

经典的ELK主要是由Filebeat + Logstash + Elasticsearch + Kibana组成，如下图：（早期的ELK只有Logstash + Elasticsearch + Kibana）这种架构，主要加上了Redis或Kafka或RabbitMQ做消息队列，保证了消息的不丢失。此种架构，主要用在生产环境，可以处理大数据量，并且不会丢失数据。此架构主要适用于数据量小的开发环境，存在数据丢失的危险。