filebeat向kafka传输数据，无数据现象

最新推荐文章于 2024-12-17 17:45:13 发布

weixin_30488085

最新推荐文章于 2024-12-17 17:45:13 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：http://www.cnblogs.com/liuYGoo/p/11226272.html

本文介绍如何解决Filebeat无法正常向Kafka传输数据的问题。通过netstat工具确认Filebeat正在向Kafka发送数据，并提供了修改/etc/hosts文件的具体步骤来确保Kafka主机名与IP地址的正确映射。

通过netstat 能够看到filebeat确实是有向kafka传输数据，

filebeat 日志显示

那就需要修改 /etc/hosts文件

将kafka主机的名字和ip写入filebeat主机的hosts文件中。

转载于:https://www.cnblogs.com/liuYGoo/p/11226272.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_30488085

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

filebeat发送至阿里云服务器上的kafka失败问题原因寻找及解决

soulfire的博客

12-02

7774

错误现象前提 filebeat中配置的kafka地址确认是正确的阿里云服务器外网地址和正确的端口号9092，且该端口开启，可以通过telnet连接。服务器上的kafka已开启，且在相应的topic上开启了消费者进行监控。现象开启filebeat后，在服务器上的消费者未收到任何消息。 filebeat的日志大多是： 2020-12-02T19:16:44.589+0800 INFO [publisher] pipeline/retry.go:219 retryer: sen

Kafka消费不到数据

wildding的博客

05-16

4184

方法1：登录bin/zkCli.sh 然后删除kafka中/brokers/topics/__consumer_offsets 节点。看logdir的目录，换个目录或者删除目录中的数据，本机是 rm -rf datas/* (方法2：停止zookeeper： zk.sh stop 查看conf/zoo.cfg的。：zookeeper报错日志可以在 logs里xxxx.out中查看)：kafka报错日志可以在 logs里 server.log查看)1.首先停止kafka： kafka.sh stop。

参与评论您还未登录，请先登录后发表或查看评论

filebeat 抓取数据无法上传到 kafka

hjxisking的专栏

01-28

2082

在配置filebeat抓取nginx日志到kafka的时候遇到个问题，无法将数据传输给kafka，虽然hosts指定了3个broker的ip，但是依然无效最终通过尝试发现，虽然这边指定了broker的ip，但猜测还是会和zk通信并获取到其他broker的hostname（配置kafka的时候server.properties中listeners和advertised.listeners都是配置的hostname，且hostname是通过/etc/hosts绑定的，非真实域名可访问），而不是ip，所以fi

filebeat推送消息到kafka-k8s sidecar

qq522044637的博客

07-14

1263

完整示例本示例为：使用filebeat将apisi的日志发送到kafka中完整配置文件如下： apiVersion: extensions/v1beta1 kind: Deployment metadata: name: apisix namespace: apisix spec: replicas: 1 strategy: rollingUpdate: #由于replicas为3,则整个升级,pod个数在2-4个之间 maxSurge: 1 m

filebeat 采集 kafka 的数据到 ES 当中的配置

Cincinnati_De的博客

05-19

658

公司通过多个 filebeat 将数据采集到 kafka 上。由于 kafka 数据可视化不是很强，需要暂时将数据在 kibana 上展示。涉及到数据不计算，暂时先再启用一个 filebeat 采集 kafka 的数据到 ES 中。 ###################### Filebeat Configuration Example ######################### # This file is an example configuration file ..

ELK+FileBeat+Kafka分布式系统搭建图文教程.docx

06-06

本系统由FileBeat、Kafka、Logstash、Elasticsearch、Kibana五个组件组成，分别负责日志收集、缓存层、日志处理、数据存储和数据展示。 FileBeat是轻量级的日志收集器，负责从多种来源收集日志，并将其转存到Kafka...

Filebeat+Kafka+数据处理服务+Elasticsearch+Kibana+Skywalking日志收集系统

skyqiyunhun的博客

06-20

3268

该文档不会为读者提供中间件的安装和部署教学，仅作为我在这大半年从零开始建立日志收集系统的整个过程。读者能从本文看到一条从零开始的日志收集系统的建立通路，能看到我选择和处理的过程和碎碎念...

ELK+Filebeat+Kafka+ZooKeeper构建日志分析平台

01-23

ELK+Filebeat+Kafka+ZooKeeper构建日志分析平台，架构图解

ELK+filebeat+kafka日志收集

qq_39239712的博客

03-27

1030

我们主要完成在Docker环境下部署 Filebeat 日志收集工具，他是搭建ELK日志非常重要的一部分，我们利用Filebeat日志收集完成之后，将数据写入 Elasticsearch 后用 Kibana 进行可视化展示，目前我们已经完成了Fliebeat + Es +Kibana部分。

filebeat--日志推送到kafka集群

wenqiwenqi123的博客

09-11

5389

有点久没更新博客了，因为最近刚入职比较忙，也没什么时间看论文。最近做项目的时候倒是遇到一些问题，比如说我想要存一个日志。我不仅想在服务器本地上存一个日志，还想往hive数据仓库里也存一个，那么怎么办呢？这里就需要用到filebeat了，filebeat可以做到自动监控日志文件，并且在产生数据的时候往kafka集群上推送数据。我们的数据是json格式。首先...

filebeat 发送 kafka 配置

qq_35952353的博客

07-22

2778

filebeat 发送 kafka 坑 kafka版本: kafka_2.10-0.9.0.0 filebeat配置文件中的hostname要与kafka所在的hostname配置一样 filebeat.prospectors: - input_type: log paths: - /opt/nginx_wjl/nginx-green/logs/access.log encodin...

关于elk中filebeat定义好日志输出，但是redis里面却没有输出内容的问题

weixin_33755557的博客

01-15

748

这两天在搞elk的时候，filebeat中指定输出日志至Broker（此处Broker采用redis作为缓存），但是redis中却没有内容，所以就开始排查来 filebeat采用RPM安装的方式来的。 1、首先是检查filebeat的配置文件是否有问题：注意：这个配置文件的这个红色方框中的内容是我自己定义的，是在网上搜的一个例子来编写的。不过事实上我们可以在/etc/filebeat这...

fileBeat访问kafka失败，通过host绑定 hostIP及hostName 解决

u014154117的博客

08-03

1389

这几天测试elk，发现当kafka和filebeat在同一台机器上时是能够跑通的，但在另一台机器上部署kafka就访问不到了，后经查阅，原因如下：filebeat解析的时候要解析到主机名，报错信息如下：解决方式：在C:\Windows\System32\drivers\etc\hosts文件中添加部署了kafka的主机IP及主机名，使fileBeat能够识别该主机，操作如下：这种方式非常蛋疼，如果将来在分布式集群中大量部署fileBeat文件采集器，接入kafka将会很麻..

filebeat+kafka简单使用

那年花下月如雪

04-30

5344

filebeat+kafka简单使用下载下载页面：https://www.elastic.co/cn/downloads/past-releases/filebeat-6-3-1 wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.3.1-linux-x86_64.tar.gz 使用解压 tar -zxv...

kafka接受不到数据

ztx22555的博客

08-17

4896

kafka接受不到数据

filebeat使用kafka作为input（filebeat从kafka中读取数据）报错解决

soulfire的博客

12-16

3556

项目场景： filebeat 7.10 kafka 0.11 windows 10 filebeat使用kafka作为input，从kafka读取数据到ElasticSearch 官方文档问题描述：根据kafka input 官方文档配置好filebeat.yml，并启动filbeat从指定kafka的某topic读取数据。 kafka的配置是正常的，已经在其它环境尝试过生产\消费数据。 filbeat报如下错误： ERROR [kafka input] kafka/input.go:155

Filebeat 配置疑难剖析与常见问题全解