如何使用 Elasticsearch 进行分布式日志存储？

以下是使用Elasticsearch进行分布式日志存储的步骤：

一、日志采集

1. 选择日志采集工具
   • Filebeat
     • Filebeat是轻量级的日志采集器，适合安装在服务器上直接采集日志文件。它能够追踪日志文件的变化，将新的日志行发送出去。例如，对于Linux系统中的各种服务日志（如/var/log/messages等），可以通过简单的配置，指定要采集的日志文件路径，就可以开始采集日志。
     • 配置方面，需要定义输入（如日志文件的路径、输入类型等）和输出（通常是将日志发送到Logstash或者直接发送到Elasticsearch）。
   • Logstash
     • Logstash功能更强大，除了采集日志，还能对日志进行过滤、转换等操作。它支持多种输入方式，如从文件、网络端口、消息队列等采集日志。
     • 例如，当从文件采集日志时，可以在配置文件中设置输入插件（如file输入插件）来指定日志文件的位置，然后可以使用过滤器插件（如grok插件用于解析日志格式，mutate插件用于修改日志字段等）对采集到的日志进行处理，最后通过输出插件（如elasticsearch输出插件）将处理后的日志发送到Elasticsearch。

二、数据传输与预处理（如果使用Logstash）

1. 传输到Logstash（如果使用Filebeat采集）
   • Filebeat将采集到的日志发送到Logstash。在Filebeat的配置文件中，指定Logstash的地址和端口，例如：

   output.logstash:
     hosts: ["logstash - server:5044"]
   

2. 日志预处理
   • 在Logstash中对日志进行预处理。
   • 解析日志格式
     • 使用grok过滤器来解析无结构的日志，将其转换为结构化数据。例如，对于一个典型的Nginx访问日志格式：$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent"，可以使用grok模式来匹配并解析其中的各个字段，如：

     grok {
       match => { "message" => '%{IPORHOST:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] "%{WORD:method} %{DATA:request} HTTP/%{NUMBER:httpversion}" %{NUMBER:status} %{NUMBER:body_bytes_sent} "%{DATA:http_referer}" "%{DATA:http_user_agent}"' }
     }
     

   • 添加元数据
     • 使用mutate插件添加额外的元数据信息，如添加日志来源的服务器名称、应用名称等字段。例如：

     mutate {
       add_field => { "server_name" => "web - server - 01", "app_name" => "my - web - app" }
     }
     

三、存储到Elasticsearch

1. 直接存储（如果使用Filebeat直接发送）
   • 如果直接使用Filebeat将日志发送到Elasticsearch，在Filebeat的配置文件中指定Elasticsearch的地址和端口，例如：

   output.elasticsearch:
     hosts: ["elasticsearch - server:9200"]
   

2. 通过Logstash存储（如果经过Logstash处理）
   • 在Logstash的配置文件中，配置elasticsearch输出插件，指定Elasticsearch的地址、端口以及索引名称等信息。例如：

   output {
     elasticsearch {
       hosts => ["elasticsearch - server:9200"]
       index => "log - %{+YYYY.MM.dd}"
     }
   }
   

   • 这里的索引名称采用了按日期划分的方式，便于后续的日志管理和查询。

四、查询与可视化（使用Kibana）

1. 连接到Elasticsearch
   • 在Kibana中配置与Elasticsearch的连接，指定Elasticsearch的地址和端口。
2. 查询日志
   • 使用Kibana的查询界面，可以进行各种条件的日志查询。例如，根据时间范围（如查询过去24小时内的日志）、日志级别（如只查看ERROR级别的日志）、特定关键词（如查询包含“数据库连接失败”关键词的日志）等进行查询。
3. 可视化
   • 创建可视化图表来直观地展示日志数据。可以创建柱状图显示不同时间段的日志数量，饼图展示不同日志级别的占比等，以便更好地理解日志数据中的规律和问题。