logstash启动时默认连接本机节点elasticsearch问题

背景

今天在排查处理一个logstash读取kafka数据写入到hdfs的问题时候，发现在启动日志中多了个 logstash.outputs.elasticsearch 连接的地址是localhost:9200

部分日志如下：

排查过程说明

1、首先确认 logstash 启动的配置文件中的 output 配置，确认只配置了 webhdfs

output {
	webhdfs {
		host => 'xxxx',
		port => 50075,
		standby_host => 'yyy',
		standby_port => 50075,
		path => 'xxxx',
	}
}

2、网上查询给出两种解决方案

第一种说在output配置中添加 stdout

output {
  stdout {
    codec => dots
  }
}

但是实际这边是封装的管理logstash的脚本，里面 标准输出是写入到 /dev/null 中去。

实际使用命令行参数也启动做了尝试，不起作用。

第二是说是加载了默认的 elasticsearch 插件，卸载该插件即可。

这里其实就有个疑问？为什么默认会只加载 elasticsearch输出源的插件，而不是其他呢？

但是实际卸载的时候，会提示依赖于 x-pack 插件

[root@xxxxxx logstash]# bash bin/logstash-plugin remove logstash-output-elasticsearch
Failed to remove "logstash-output-elasticsearch" because the following plugins or libraries depend on it:

* x-pack

3、根据上面提示，联系到观察启动日志的时候，它有两个地方提示到了 x-pack

3.1) /_xpack/monitoring/_bulk

[2023-06-08T16:54:05,541][WARN ][logstash.outputs.elasticsearch] You are using a deprecated config setting 
... ...
:plugin=><LogStash::Outputs::ElasticSearch hosts=>[http://localhost:9200], bulk_path=>"/_xpack/monitoring/_bulk?system_id=logstash&system_api_version=2&interval=1s", .... ...}

3.2)、logstash.modules.scaffold 模块加载时

[2023-06-08T16:54:00,332][INFO ][logstash.modules.scaffold] Initializing module {:module_name=>"arcsight", :directory=>"/opt/app/logstash/vendor/bundle/jruby/2.3.0/gems/x-pack-6.2.2-java/modules/arcsight/configuration"}

通过上面的例子，知道应该是加载 x-pack， 但是x-pack有依赖于 elasticsearch ，所以在未配置 elasticsearch输出源的情况，就默认去找 localhost:9200 了

解决办法

就是在 logstash的配置中禁用 xpack monitor

# logstash.yml
xpack.monitoring.enabled: false

该配置文件如果在 logstsah/config 目录下没有，可以手动新增一个，和启动logstash -f指定的配置文件不冲突

附赠上面提到的 logstash 服务管理脚本

---

如果觉得文章对你有用，请不吝点赞 和 关注个人公众号（搜索 全栈运维 或者 DailyJobOps）