dl_11的博客

本文主要是对Elasticsearch生命周期的说明和一些简单应用

filebeat是Beats中的一员。Beats是一个轻量级日志采集器，Beats家族有6个成员，早期的ELK架构中使用Logstash收集、解析日志，但是Logstash对内存、cpu、io等资源消耗比较高。相比Logstash，Beats所占系统的CPU和内存几乎可以忽略不计。目前Beats包含六种工具：1、Packetbeat：网络数据（收集网络流量数据）2、Metricbeat：指标（收集系统、进程和文件系统级别的CPU和内存使用情况等数据）

Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。Logstash 是一个应用程序日志、事件的传输、处理、管理和搜索的平台。可以用它来统一对应用程序日志进行收集管理，提供 Web 接口用于查询和统计。Logstash注意有三部分输入：采集各种样式、大小和来源的数据数据往往以各种各样的形式，或分散或集中地存在于很多系统中。Logstash 支持各种输入选择 ，可以在同一时间从众多常用来源捕捉事件。

Elasticsearch Exporter主要是用来获取 Elasticsearch的指标数据，是使用Go语言写的，端口号为：9114。

这里使用 docker-compose 方式部署 consul 集群。

blackbox_exporter 是 Prometheus 拿来对 http/https、tcp、icmp、dns、进行的黑盒监控工具，也就是从服务、主机等外部进行探测，来查看服务、主机等是否可用。Blackbox Exporter 默认端口是 9115，blackbox exporter 多用于在 服务、主机外部，对其进行IP、域名、端口等的探测，每种类型的配置都有差别，根据需要进行配置。

ipmi exporter是用来收集物理机信息的一个exporter，有两种收集方式，一种是安装在Prometheus server上，来进行远程收集，并把数据发送给Prometheus；另一种是安装在远程物理机上，收集单台服务器的信息发送给Prometheus。前面提到使用 vmware exporter 收集VMware Vsphere的信息，主要是收集Vsphere上创建的虚拟机的信息等相关信息。如果想要监控 Vsphere 所在物理机是否宕机，则需要使用 impi exporter来监控。

VMware exporter是一个用于 Prometheus 的 VMware vCenter 导出器（Exporter）。Prometheus 是一个开源的系统监控和警报工具包，而 Exporter 则是用于将特定服务或系统的度量指标转换为 Prometheus 可以理解的格式的工具。1.基础虚拟机（VM）和主机（Host）的度量指标：这可能包括 CPU 使用率、内存使用情况、磁盘 I/O 等基础性能指标。

使用 Prometheus 发出警报分为两部分。Prometheus 服务器的告警规则会将告警发送给Alertmanager。然后，Alertmanager 管理这些警报，包括静音、抑制、聚合和 通过电子邮件、随叫随到的通知系统和聊天平台等方法发送通知。设置和配置 Alertmanager配置 Prometheus 与 Alertmanager 通信在 Prometheus 中创建报警规则alertmanager 是告警处理模块，但是告警消息的发送方法并不丰富。

kibana是Elastic stack中web页面，可以在kibana中查看到数据。搜索、观察并保护数据：从发现文档到分析日志，再到查找安全漏洞，Kibana 是访问这些功能及其他功能的门户。分析数据：搜索隐藏的信息，用图表、仪表、地图、图形等方式可视化发现的内容，并在仪表板上进行组合。管理、监控和保障 Elastic Stack 的安全。管理数据，监控 Elastic Stack 集群的健康状况，并控制哪些用户有权访问哪些功能。以上是Kibana最基础的一些操作，其他的后续再补充。

ELK是三款软件的简称，分别是Elasticsearch、Logstash、Kibana，在发展的过程中，又有新成员Beats的加入，所以就形成了Elastic Stack。说白了Elastic Stack相当于以前的ELK。Elasticsearch是Elastic Stack的核心，是一个分布式搜索和分析引擎。Logstash和Beats有助于收集、聚合和丰富数据，并将其存储在Elasticsearch中。Kibana让你 以交互方式探索、可视化和共享数据的见解，并管理和监控整个堆栈。

node exporter是Prometheus的收集数据的组件，用于收集 *NIX内核暴露的硬件和操作系统指标，如：CPU、内存、磁盘等信息，用Go编写，，不存在任何第三方依赖，所以只需要下载解压即可运行。首先安装服务对应的exporter在Prometheus server端配置，可以收集到数据在Grafana中导入对应的模板即可。

Prometheus 是一款基于时序数据库的开源监控告警系统，非常适合Kubernetes集群的监控。Prometheus的基本原理是通过HTTP协议周期性抓取被监控组件的状态，任意组件只要提供对应的HTTP接口就可以接入监控。不需要任何SDK或者其他的集成过程。这样做非常适合做虚拟化环境监控系统，比如VM、Docker、Kubernetes等。输出被监控组件信息的HTTP接口被叫做exporter。