filebeat发送至阿里云服务器上的kafka失败问题原因寻找及解决

最新推荐文章于 2023-11-27 16:18:12 发布

流萤灯

最新推荐文章于 2023-11-27 16:18:12 发布

阅读量7.7k

点赞数 1

分类专栏： filebeat kafka linux 文章标签： kafka filebeat 阿里云

本文链接：https://blog.youkuaiyun.com/qq_41566159/article/details/110496525

版权

本文档描述了filebeat在尝试向阿里云服务器上的kafka发送数据时遇到的问题及其解决方案。错误表现为filebeat无法成功发送消息到kafka，尽管配置正确且kafka服务与消费者已启动。通过提升filebeat的日志级别至debug，发现原因是filebeat需要阿里云主机的hostname。解决方法是在使用filebeat的机器上编辑hosts文件，添加阿里云的hostname与公网IP的映射，之后filebeat成功向kafka发送消息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

错误现象

前提

filebeat中配置的kafka地址确认是正确的阿里云服务器外网地址和正确的端口号9092，且该端口开启，可以通过telnet连接。
服务器上的kafka已开启，且在相应的topic上开启了消费者进行监控。

现象

开启filebeat后，在服务器上的消费者未收到任何消息。
filebeat的日志大多是：

2020-12-02T19:16:44.589+0800    INFO    [publisher]     pipeline/retry.go:219   retryer: send unwait signal to consumer
2020-12-02T19:16:44.590+0800    INFO    [publisher]     pipeline/retry.go:223     done
2020-12-02T19:16:44.590+0800    INFO    [publisher]     pipeline/retry.go:213   retryer: send wait signal to consumer
2020-12-02T19:16:44.590+0800    INFO    [publisher]     pipeline/retry.go:217     done
2020-12-02T19:16:44.590+0800    INFO    [publisher]     pipeline/retry.go:219   retryer: send unwait signal to consumer
2020-12-02T19:16:44.591+0800    INFO    [publisher]     pipeline/retry.go:223     done
2020-12-02T19:16:53.325+0800