本机spark 消费kafka失败（无法连接）

最新推荐文章于 2023-09-13 21:51:11 发布

转载最新推荐文章于 2023-09-13 21:51:11 发布 · 390 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/spicy/p/9948085.html

文章标签：

#大数据

本文分享了在使用Spark消费Kafka数据时遇到的连接失败问题的解决方案。通过调整Kafka配置文件server.properties中host.name参数，成功解决了Spark无法消费Kafka的问题。

本机spark 消费kafka失败（无法连接）终端也不报错就特么不消费：但是用console的consumer 却可以

经过各种改版本，测试配置，最后发现只要注释掉 kafka 配置server.properties 中的host.name=kevinhost1(我自己的主机名) 就行了

转载于:https://www.cnblogs.com/spicy/p/9948085.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_30655219

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

本地开发spark streaming无法消费云主机kafka消息

weixin_39182877的博客

04-28

640

1、Kafka集群在一个192.168.0.x网段的，而我们的生产者在集群外，无法将消息发送过去错误：11:21:13,936 ERROR KafkaProducer - Batch containing 11 record(s) expired due to timeout while requesting metadata from brokers for onlinelogs-1

Spark与Kafka进行连接

Casual_Lei的博客

09-04

1463

在Java中使用Spark与Kafka进行连接，你可以使用Spark Streaming来处理实时流数据。以下是一个简单的示例，展示了如何使用Spark Streaming从Kafka读取数据并进行处理。

参与评论您还未登录，请先登录后发表或查看评论

spark包链接kafka集群报错org.apache.kafka.common.KafkaException: Failed to construct kafka consumer

安余生的博客

04-26

4563

1、如果是spark执行的包请到spark下面的jars文件夹里检索是否拥有相关的jar包可以看到我这里是有的，那就不是jar包的问题 2、确认是不是版本问题，在自己的本地测试里看一下maven的包我这边版本是一致的，所以也不是版本问题，那是什么原因造成创建消费失败的呢 3、kafka的链接可以看到kafka是用了集群的，三个链接是配置了hosts的，我们看一下我们运行...

kafka 收不到消息_Spark消费者没有收到Kafka消息

weixin_39775106的博客

12-19

319

我有一个Spark scala使用者连接到另一个集群上的Kafka代理(Kafka集群与CDH集群分开) . params 是我正确拾取的 Kafka 参数 .val incomingstream = KafkaUtils.createDirectStream[String, String](streamingContext, .....](topicSet, params))print(in...

sparkstreaming 程序没有结果，不报错也不输出

Sablier的博客

08-12

2788

报错代码：报错： sparkstreaming 程序没有结果，不报错也不输出通过浏览器访问8088端口 spark streaming程序一直处于ACCEPTED状态（处于RUNNING的程序才会运行。）可能原因： 1.spark streaming 在同一个 spark context 下同时只会运行一个，如果需要运行下一个，必须完全kill上一个。 2. kafka队列中有太多积压得信息...

spark+kafka出现问题1，找不到KafkaUtils$

2551的博客

09-30

7566

spark+kafka单词统计时遇到的错误

Spark对kafka两种连接方式的对比

Jingmingtao11的博客

09-13

270

4.createStream中创建的KafkaInputDStream每个batch所对应的RDD的partition不与Kafkapartition一一对应;简化并行:不再需要创建多个kafka input DStream然后再union这些input DStream.使用directStream,spark Streaming会创建与Kafkapartitions相同数量的partitions的RDD,RDD的partition与Kafka的partition一一对应,这样更易于理解及调优。

11SparkStreaming消费kafka以及offset提交

yangbllove的博客

04-19

1056

spark streaming流式处理kafka中的数据，第一步是先把数据接收过来，转换为spark streaming中的数据结构Dstream。接收数据的方式有两种：1.利用Receiver接收数据，2.直接从kafka读取数据。一、Receiver方式消费kafka 这种方式利用接收器（Receiver）来接收kafka中的数据，其最基本是使用Kafka高阶用户API接口。对于所有的接收器...

spark-streaming-kafka.rar

07-27

本压缩包"spark-streaming-kafka.rar"包含了在Spark 3.0.0版本中与Kafka集成所需的jar包，特别适用于解决因Kafka新版本导致的阿里云仓库下载问题。 1. **Spark Streaming与Kafka集成** Spark Streaming通过`spark-...

Spark对Kafka两种连接方式的对比——Receiver和Direct

乔治大哥的博客

11-21

1405

在知乎 Flink 取代 Spark Streaming 的实战之路中，提到因此下面对两种方式进行详细说明一下。 Receiver方式 Receiver：接收器模式是使用Kafka高级Consumer API实现的。与所有接收器一样，从Kafka通过Receiver接收的数据存储在Spark Executor的内存中，然后由Spark Streaming启动的job来处理数据。然而默认配置...

spark 连接 kafka 遇到的问题

WQQ72600的博客

05-10

990

java.lang.NoClassDefFoundError: kafka/api/TopicMetadataRequest at org.apache.spark.streaming.kafka.KafkaCluster.getPartitionMetadata(KafkaCluster.scala:130) at org.apache.spark.streami...

spark直连kafka中遇到的问题

qq_21735341的博客

09-07

2408

出现问题：找不到 leader offset py4j.protocol.Py4JJavaError: An error occurred while calling o41.createDirectStreamWithoutMessageHandler. : org.apache.spark.SparkException: java.nio.channels.ClosedChannelExce...

Spark的StreamingContext连接Kafka错误ERROR StreamingContext: Error starting the context, marking it as sto

《@书山有径%》的博客

12-18

1616

Spark StreamingContext连接Kafka错误 ERROR StreamingContext: Error starting the context, marking it as stopped org.apache.kafka.common.KafkaException: Failed to construct kafka consumer at org.apache.kafka.clients.consumer.KafkaConsumer.(KafkaConsumer.java:702

在win10 中的spark streaming 无法连接上在wsl 里配置的kafka

伊维的笔记本

03-15

2003

回答一下困扰了我一天半的一个问题，幸好现在解决了。 Spark Streaming 无法正常运行出现这种问题很有可能是kafka 安装在wsl 或虚拟机里导致的，安装在win10里面可能不太会出现这种问题。原因就是，在于wsl 里的ip 地址是会变化的，并且和win10里的ip不是一回事，由于因为win10版本问题可能无法通过localhost 或 127.0.0.1 这样默认的ip 来连接起来。解决方法：初级做法：在wsl 里面找到eth0 的ip 地址。接着在kafka 配置文件里面，换掉关于

spark-streaming连接kafka报错 java.lang.NoClassDefFoundError: kafka/common/TopicAndPartition

VictorKa的博客

05-12

1940

等

spark读取不到kafka中的数据，本人踩坑记录

qq_29499107的博客

04-12

4254

首先确定：自己的idea开发环境和spark集群的开发环境一致，jdk, scala 版本都一直，而且在idea中测试可以消费到kafka集群中的数据：集群 spark为1.6.1，本地idea也是spark1.6依赖。并且将sparkstream2kafka程序发布到spark集群也是正常运行，但是获取不到kafka中的数据。后来经过自己大量的测试终于找到了答案（百度了好久没有）：代码：...

Kafka结合Spark-streaming 的两种连接方式(AWL与直连)