soulfire的博客

环境filbeat 7.10kafka 2.1elasticsearch 7.4.2windows 10需求描述Java程序生产Json格式的日志发送到kafka中，再由filebeat从kafka中消费日志，存储到ElasticSearch中。设置kafkakafka需要在配置文件server.properties中设置listeners才可以被外界访问：listeners=PLAINTEXT://host:9092# Hostname and port the broker wi

项目场景：filebeat 7.10kafka 0.11windows 10filebeat使用kafka作为input，从kafka读取数据到ElasticSearch官方文档问题描述：根据kafka input 官方文档配置好filebeat.yml，并启动filbeat从指定kafka的某topic读取数据。 kafka的配置是正常的，已经在其它环境尝试过生产\消费数据。filbeat报如下错误： ERROR [kafka input] kafka/input.go:155

一、auto.offset.reset值详解在 Kafka 中，每当消费者组内的消费者查找不到所记录的消费位移或发生位移越界时，就会根据消费者客户端参数 auto.offset.reset 的配置来决定从何处开始进行消费，这个参数的默认值为 “latest” 。auto.offset.reset 的值可以为 earliest、latest 和 none 。关于 earliest 和 latest 的解释，官方描述的太简单，各含义在真实情况如下所示：earliest ：当各分区下存在已提交的 offs

环境linux系统/opt/moudle/kafka 目录下topic名称：first命令后台启动bin/kafka-server-start.sh -daemon config/server.properties关闭bin/kafka-server-stop.sh stop查看所有topicbin/kafka-topics.sh --zookeeper host:2181 --list创建topic (副本3 分区1)bin/kafka-topics.sh --zookeep

版本filebeat 7.10.0方法通过fields参数设置kafka的topic，如下配置文件所示：# ============================== Filebeat inputs ===============================filebeat.inputs:# Each - is an input. Most options can be set at the input level, so# you can use different inputs f

错误现象前提filebeat中配置的kafka地址确认是正确的阿里云服务器外网地址和正确的端口号9092，且该端口开启，可以通过telnet连接。服务器上的kafka已开启，且在相应的topic上开启了消费者进行监控。现象开启filebeat后，在服务器上的消费者未收到任何消息。filebeat的日志大多是：2020-12-02T19:16:44.589+0800 INFO [publisher] pipeline/retry.go:219 retryer: sen

环境win10系统filebeat 7.10.0CentOS7 集群（虚拟机）kafka 0.11第一步 下载filebeat下载地址我下载的是图中圈出的压缩包版本，也有MSI版本供下载。第二步 配置filebeat官方教程将下载的压缩包解压到“C:\Program Files\Filebeat”。修改该目录中的配置文件filebeat.yml，主要修改以下几个地方：添加源文件相关内容，主要在inputs中。# ========================