flink连上了Kafka 却接收不到数据

最新推荐文章于 2024-05-23 10:57:27 发布

侠女贝勒爷

最新推荐文章于 2024-05-23 10:57:27 发布

阅读量3k

点赞数 2

本文链接：https://blog.youkuaiyun.com/a4736123/article/details/116998171

版权

大数据同时被 3 个专栏收录

11 篇文章

订阅专栏

Kafka

2 篇文章

订阅专栏

flink

2 篇文章

订阅专栏

flink连上了Kafka 却接收不到数据

**
首先在 kafka的 config/server.properties 里增加
注意是自己的IP地址
############################# Socket Server Settings #############################

listeners=PLAINTEXT://192.168.149.50:9092
host.name=192.168.149.50

然后在window地址里修改正确的IP地址
在这里插入图片描述

注意之后删除原先得broker信息和zookeeper连接信息，因为现在都是新地址了

然后重新连接，如果还是不行，注意把所有相关端口kill掉，或者直接重启

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

侠女贝勒爷

关注关注

2
点赞
踩
2

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【大数据】Flink + Kafka 实现通用流式数据处理详解

congge

10-27

1万+

Flink + Kafka 实现通用流式数据处理详解

【Flink】Flink kafka producer 分区策略 (flink写入数据不均匀与数据写入分区无数据 )

九师兄

07-13

3040

思考这个问题，主要原因是，我们写了一个监控Kafka分区是否倾斜的程序，然后程序监控出来一个数据，写入倾斜的问题。如下图可以看到某个kafka的3个分区一直没有数据写入。然后我就去找看看FLink是如何写入的。可以看到我们的程序一般调用这个函数}这里可以看到默认是使用分区器。这个分区器的继承体系如下。...

1 条评论您还未登录，请先登录后发表或查看评论

flink读不到kafka数据问题

微电子学与固体电子学-俞驰

06-26

4381

[1]搭建集群 [2]测试kafka集群没问题后, 根据[3]中开始用flink消费kafka数据,发现啥也么有调试办法如下: ①去$KAFKA/logs下面看了下,是有相关主题的文件夹生成的. ②/kafka-console-consumer.sh --bootstrap-server Desktop:9091,Laptop:9092,Laptop:9093 --topic test-0921 依然没有数据 ③./kafka-console-consumer.sh --bootstrap.

使用flink table api 从kafka中读取数据,kafka数据无法读取错误

搬砖的鱼的博客

12-22

1079

kafka正常启动，flink无法消费，也不报错解决办法：配置属性为从所有分区的最新偏移量开始读取startFromLatest() package com.atguigu.apitest.tabletest /*import org.apache.flink.api.scala.ExecutionEnvironment import org.apache.flink.streaming.api.scala._ import org.apache.flink.table.api.{DataTypes,

记录一次kafka -＞ flink无数据的坑

博客

12-18

873

kafka 到 flink ,在flink TM的Logs中： INFO org.apache.kafka.Clients.consumer.internals.AbstractCoordinator - Marking the coordinator ip:port (id : XXX rack: XXX) dead for group XXX 原因分析：无法找到ip 解决方案：配置hosts问题，将yarn节点ip与kafka节点ip配到hosts中即可。 ...

记录一次Flink消费Kafka空转，无法拉取消息，checkpoint也能成功，但是位置点却不提交的异常处理

DL_jianglin的博客

02-09

973

Flink消费Kafka空转，无法拉取消息。flink空转不是flink的问题，而是kafka客户端版本与集群版本不匹配导致的

Flink因Kafka数据问题造成异常无法运行的解决思路

Jomly Kellenda的博客

09-18

2697

状况描述： Flink从Kafka中消费数据，发现fail了，直接重启之后，跑了5分钟还是fail，怀疑是数据问题。再次重启之前，把消费者的group-id改了，新的group-id下重启Flink，跑了很久都没fail。分析：旧的group-id记录了消费点，新的group-id获取了latest数据，因此可以继续正常运行。处理方案： 1、保证程序继续运行，用新的group-id继续跑，把数据读到原有的正式ES库； ...

Flink入门，flink接入kafka数据源，消费数据并处理数据

最新发布

荒野拖拉机

05-23

3817

构建时会提示找不到类，在idea中勾选如图选项，或者在pom文件中修改scope的值为compile。消费者可以收到消息，kafka安装完成，如果没有收到可以检查topic是否一致，ip是否正确。首先先下载kafka的linux版本，可以搜索阿里云的镜像进行下载，速度很快。将文件中的listeners注释去掉，并修改值为你虚拟机的ip，如下图。最后运行新的消费者，消费处理后的数据，只需修改topic。然后运行代码，在生产者生产一条数据进行查看。启动生产者服务，bin目录下。安装过程可自行搜索。

Flink-以 kafka 消息队列的数据

m0_63715045的博客

02-18

521

在虚拟机用kafka创建生产者，发现在生产者内输入内容时，Idea里收不到消息

【Flink Kafka】Flink程序连接Kafka没输出也不报错

HR的博客

03-25

2759

Flink程序连接Kafka没输出也不报错本人最近在使用Kafka作为数据源输出数据到Flink时遇到一个问题，那就是既没有结果输出，也没有报错代码如下 package Source import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment import org.apache.flin

Flinksql 读取kafka问题

huangrunxing的专栏

06-03

978

一个线上flink1.12 sql 读取kafka源的发现，刚开始用这个东西，发现了就及时记录，建kafka表的时候，字段名字要和toplic里面的字段一致，大小写要保持一致，不然读不到数据，er

Kafka数据推送正常，消费方查不到数据

weixin_42412843的博客

12-15

871

排查：项目改造后消息不再通过Flink连接kafka进行处理，直接由Java程序对kafka进行消费，由于上周五kafka消息数据量突然增大，程序对数据消费过慢导致Kafka消息堆积，堆积的消息超过24小时触发kafka消息清除策略，导致模块部分数据缺失。根本原因：更换数据库后，同步添加了索引，但是mysql索引与Db2不同，导致查询数据库不走索引，查询缓慢，大量数据并发查询导致消费缓慢，kfaka数据堆积。具体原因：消费方对数据消费能力下降，导致数据堆积，超过24h消息被删除。

Flink连接kafka连接不上

kj_1314的博客

05-06

2551

Flink连接kafka

Flink实时数仓---1，Flink SQL读取kafka实操，已经遇到的问题.....持续更新吧

qq_31866793的博客

05-20

3844

1，第一步很重要就是依赖的问题，因为是本地执行，所以最好有hadoop配置环境，没有的话会提示错误信息，自己百度一下，自己下载个winutils.exe ，然后配置环境变量 2，为了图方便直接贴上pom文件依赖（自己看哈，就是hive跟hadoop的依赖）： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xm...

flink消费kafka历史数据开窗计算数据丢失问题追踪记录

Sword_Zhao的博客

04-13

2203

flink消费kafka数据开窗丢失数据问题

记一次线上环境flink任务连接kafka失败的问题

Lhm00913的博客

04-19

1414

flink无法连接kafka导致flink任务一直重启

Flink接收kafka source数据

程序园@大Null

05-21

1031

前期准备好kafka环境，我这里是1.12.0版本的Flink，Kafka对应版本官方推荐2.4.1，Scala版本2.12 在kafka目录下启动zookeeper（我这里用的是kafka自带的） ./bin/zookeeper-server-start.sh -daemon config/zookeeper.properties 启动kafka ./bin/kafka-server-start.sh -daemon config/server.properties 别忘了添加Kafka连接

大数据_Flink_数据处理_流处理API_Source_从kafka读取数据---Flink工作笔记0027

添柴程序猿的专栏

03-06

392

然后我们再继续看,flink如果直接从kafka这样的消息队列中读取数据怎么做呢? 我们新建一个SourceTest2_Kafka来看,可以看到上面的类然后我们要去,让flink接收kafka的数据的话, 那么首先要能连接kafka,这个时候需要一个依赖 0.11kafka版本,2.12是scala版本然后我们把依赖假如到pom.xml中去然后我们把其他的,比如SourceTest_File中的代码copy过来就行了,因为代码还是那些代码,只不过,这里: e...

Flink1.16整合Kafka

09-12

879

对于大多数流数据处理应用程序而言，能够使用处理实时数据的代码重新处理历史数据并产生确定并一致的结果非常有价值。在处理流式数据时，我们通常更需要关注事件本身发生的顺序而不是事件被传输以及处理的顺序，因为这能够帮助我们推理出一组事件（事件集合）是何时发生以及结束的。例如电子商务交易或金融交易中涉及到的事件集合。为了满足上述这类的实时流处理场景，我们通常会使用记录在数据流中的事件时间的时间戳，而不是处理数据的机器时钟的时间戳。