ELK 8.15.3 版本Logstash和Kibana与KS配置SSL实现https安全连接

在客户端部署上线的日志服务器因为等保扫瞄到ES（Elasticsearch） 7.17.8版本有安全漏洞，所以要做一个升级，升级到最新的 8.15.3。
因为ES 8.X 版本是默认启动了安全配置，也就是配置文件 elasticsearch.yml 中的 xpack.security.enabled 配置默认是设为 true 的，所以当启动 ES的时候访问9200端口会要求输入账户和密码。
接下来，我将一步步分享如何手动配置 elastic 超级用户的密码以及如何让 logstash 和 kibana 以 https的方式对 es 进行数据的写入（logstash output）和读取（kibana需要读es数据将不同index内的数据进行可视化等操作）。

ELK部署方式

OS: Ubuntu 22.04 LTS
部署运行方式：docker-compose （也就是说logstash, es和kibana都是以容器的方式运行的，并且属于一个网络）

docker 镜像拉取

# 拉取 es
docker pull docker.elastic.co/elasticsearch/elasticsearch:8.15.3
# 拉取 logstash
docker pull docker.elastic.co/logstash/logstash:8.15.3
# 拉取 kibana
docker pull docker.elastic.co/kibana/kibana:8.15.3

拉取完成后，可以通过 docker images 命令查看镜像：

更换镜像

将所有正在运行的7.X版本镜像的容器都停下来

docker-compose down

编辑 docker-compose.yaml 文件，修改镜像的tag为8.15.3。
下一步修改宿主机上映射到 es 容器内的配置文件 elasticsearch.yml 内容，我们首先配置 elastic 超级用户的密码，后面再把 https 连接需要的证书搞定，所以先把 xpack.security.transport.ssl.enabled 设置为 false（默认是 true）。
需要加上以下配置内容：

# 此配置项用于启用或禁用 Elasticsearch 的安全特性
xpack.security.enabled: true
# 此配置项用于启用或禁用通过 HTTPS（SSL/TLS）对 Elasticsearch 的 HTTP 接口进行加密。
xpack.security.transport.ssl.enabled: false

然后启动 docker-compose

docker-compose up -d

配置 elastic 超级用户的密码

确保 elasticsearch（容器名）在正常运行后，可以尝试访问 http://ip:9200, 这个时候发现会有弹出框要求输出用户名和密码（因为 xpack.security.enabled: true）。

现在进入 elasticsearch 容器内部：

docker exec -it elasticsearch bash
elasticsearch@elasticsearch:~$ pwd
# 容器内部当前目录
/usr/share/elasticsearch

有以下两种设置密码的方式，手动和随机自动：

手动设置密码

./bin/elasticsearch-reset-password -u elastic

按照提示输入想要为 elastic 用户设置的新密码即可。

自动生成随机密码

-i：关闭交互模式，Elasticsearch 会自动生成一个随机密码

./bin/elasticsearch-reset-password -u elastic -i

假如设置的密码是：p0s9Lb3uThEJfN5T0v6x

这个时候再去访问 http://ip:9200，输入 elastic/p0s9Lb3uThEJfN5T0v6x 就可以正常访问了。

Logstash通过elastic账号与es建立http连接

虽然我们最终达成的目标是让logstash和kibana以 https（http+ssl）的方式与es建立连接，但在配置相关证书之前我们可以尝试一下让logstash仅通过账号密码的方式与es建立http连接（kibana无法尝试，在 xpack.security.enabled: true 配置的情况下必须通过https）。

1. 将elastic 超级用户密码写入 docker-compose.yml

services:
  elasticsearch:
    restart: always
    image: docker.elastic.co/elasticsearch/elasticsearch:8.15.3
    container_name: elasticsearch
    hostname: elasticsearch
    privileged: true
    environment:
      - "ES_JAVA_OPTS=-Xms8192m -Xmx8192m"
      - "http.host=0.0.0.0"
      - "node.name=node-01"
      - "cluster.name=cluster-01"
      - "discovery.type=single-node"
      # 将密码作为环境变量写入
      - "ELASTIC_PASSWORD=p0s9Lb3uThEJfN5T0v6x"

2. 修改宿主机上的 logstash.yml 和涉及到output给es的配置文件

logstash.yml配置新增内容如下

# 开启xpack监控
# ===================es版本升级，需要加入认证信息==============
xpack.monitoring.elasticsearch.username: "elastic"
xpack.monitoring.elasticsearch.password: "p0s9Lb3uThEJfN5T0v6x"                 

对于将接收到的日志处理完之后output给es的配置内容，需要加上账户密码等信息。

以下是 ChatGPT 生成的一个示例，需要注意：

1. hosts 要加上 http://；
2. 若有逻辑分支则涉及到es的部分都需要添加 user/password 信息。

input {
   
  # 假设从stdin输入数据
  stdin {
   }
}

filter {
   
  # 使用 Ruby 进行自定义处理
  ruby {
   
    code => "
      event.set('new_field', event.get('message').upcase)  # 将'message'字段转为大写并保存到'new_field'
      event.set('timestamp', Time.now)                     # 添加当前时间戳到'timestamp'字段
    "
  }
}

output {
   
  # 输出到 Elasticsearch
  elasticsearch {
   
    # 注意需要加上http，安全验证未开启的情况下是不需要的
    hosts => ["http://elasticsearch:9200"]
    index => "logstash-ruby-example"
    # 增加用户名
    user => "elastic"
    # 增加用户名密码
    password => "p0s9Lb3uThEJfN5T0v6x"
    document_id => "%{[@metadata][fingerprint]}"  # 自定义document ID（可选）
  }
}

3. 重启 elasticsearch 和 logstash docker 容器

重启命令如下：

docker-compose restart elasticsearch
docker-compose restart logstash

重启之后检查 logstash 和 elasticsearch 容器日志是否有报错信息：

docker logs logstash
docker logs elasticsearch
# 如果只想看最新N条，添加 --tail 参数指定一下数量就可以
docker logs --tail N <logstash-container-name>

如果没有可以进入到 logstash 容器内部，运行检验命令检查是否能正常连接上es:

# 进入 logstash 容器内部
docker exec -it logstash /bin/bash
logstash@d996504f0329:~$ pwd
/usr/share/logstash
# 运行如下检查命令，如连接成功会显示es相关信息
curl -u elastic:p0s9Lb3uThEJfN5T0v6x http://elasticsearch:9200

成功连接到 Elasticsearch 的输出示例（由 ChatGPT 生成）：

{