关于sparkStreaming整合kafka遇到的问题

最新推荐文章于 2025-06-26 17:28:01 发布
原创 最新推荐文章于 2025-06-26 17:28:01 发布 · 2.8k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #sparkStreaming #kafka

在尝试使用SparkStreaming整合Kafka时遇到了权限、Zookeeper ACL和负载均衡(rebalance)的问题。首先，针对权限问题，尝试通过JavaStreamContext和System.setProperty设置SASL认证未果，最终发现需要将Spark部署到Kafka集群机器上才能实现安全登录。接着，Zookeeper的ACL无效导致异常。最后，长时间困扰的是ConsumerRebalanceFailedException，经过排查确定为Kafka集群版本过高与使用JDK 1.7的Spark不兼容。降低Kafka版本后，问题得到解决，同时也避免了手动配置ACL的需要。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 （一定要先看到最后，在对症下药）   

 首先概述一下，我的代码主要就是将kafka中消费的数据转到sparkStreaming中，并进行一系列的操作。这个代码在网上有很多相同的，在此不做太多论述。代码大概是这样的：


第一个问题：权限问题，我的kafka集群是需要sasl安全认证登录，而在我的代码中并没有可以让我配置消费者的地方，因为是初学者总是哪里都想试试。首先尝试了通过JavaStreamContext设置KafkaConsumer发现行不通。 然后又通过System.setProperty进行设置，设置了用户登录的认证文件位置。设置之后没有才出现如下异常。

kafka.common.BrokerEndPointNotAvailableException: End point PLAINTEXT not found for broker 0

最低0.47元/天 解锁文章

200万优质内容无限畅学
spark streaming任务,读kafka写入mysql
大数据之路
10-28 2178
1.背景 spark streaming direct方式读取kafka消息，设置checkpoint 并写入mysql 2.发送数据到kafka package com.bigdata.kafka; import java.util.Properties; import java.util.concurrent.TimeUnit; import org.apache.kafka.clients...
SparkStreaming与Kafka整合遇到的问题及解决方案
weixin_33728268的博客
08-03 1502
最近工作中是做日志分析的平台，采用了sparkstreaming+kafka，采用kafka主要是看中了它对大数据量处理的高性能，处理日志类应用再好不过了，采用了sparkstreaming的流处理框架 主要是考虑到它本身是基于spark核心的，以后的批处理可以一站式服务，并且可以提供准实时服务到elasticsearch中，可以实现准实时定位系统日志。...
Kafka
最新发布
xujinwei_gingko的专栏
06-26 1235
Kafka是一个开源的分布式事件流平台(Event Streaming Platform)，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。它的主要应用场景：实时计算分析、数据同步、消息异步、服务解耦、日志收集等，下图演示通过Kafka实现服务解耦：Kafka有如下核心概念：1、Producer：kafka消息生产者2、Broker：kafka集群中的每个节点，这些节点数据被zookeeper管理3、Consumer：Kafka消息消费者。
spark streaming整合kafka遇到的问题（一）
麻辣灬小笼包的博客
04-27 253
val query = lines .selectExpr("CAST(partition AS STRING) as partition","CAST(topic AS STRING) as topic","CAST(offset AS STRING) as offset","CAST(value AS STRING) as value") .filter($"value".contains("\"op\":\"ins\"") || $"value".contains("...
对于kafka spark Streaming出现的问题1
yisun123456的博客
10-09 1780
当生产者发送消息 出现ERROR Error when sending message to topic test with key: null, value: 36 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)  而对于消费者不断循环  对于sparkStreaming
记一次spark streaming+kafka 运行时间不稳定调优历程
qq_30868737的博客
06-19 1526
记一次spark streaming+kafka 运行时间不稳定调优历程 问题现象 首次使用spark streaming进行流式计算的时候遇到的一个问题，即spark streaming读取kafka消息进行流式计算, 但是在数据量比较大的情况下总会出现一些batch的process time比较长，但是大多数batch能在较短的时间内完成，而且全部的batch运行时间呈两个极端分布，要么很长要么很短。 如上图，运行时间曲线出现多处尖峰，而我们期望的一般是连续平滑的曲线。 先说明题主这边的运行环境状况：
【Spark Streaming】（五）Spark Streaming 与 Kafka 集成实战！_kafkautils
2401_84181704的博客
05-06 899
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！ Spark Streaming 读取 Kafka 数据源由两种模式，我会逐一讲解。构造函数为 使用了来接收数据，利用的是Kafka高层次的消费者api，对于所有的接
SparkStreaming与Kafka整合及相关案例
fengge18306的博客
05-24 1124
目录 1、SparkStreaming与Kafka-0-8整合 1.1、Receiver-based Approach（不推荐使用） 1.2、Direct Approach(No Receivers) 1.3、SparkStreaming与Kafka0.8版本整合数据不丢失方案（自己管理offset） 2、SparkStreaming与Kafka-0-10整合 2.1、只有Direct Approach(No Receivers) 2.2、SparkStreaming与Kafka0....
SparkStreaming如何消费Kafka
QenXX的博客
07-03 997
引言 目前来说大部分使用SparkStreaming的项目，都是从Kafka消费数据，为此SparkStreaming提供了一套连接Kafka消费数据的API，使用此套API可以方便智能的建立与Kafka分区的连接，而不再是使用Receiver收数据并转发，以下是对官方文档的翻译及自己的理解。 SparkStreaming消费Kafka SparkStreaming提供了并行连接kafka的API而不需要使用Receiver。Kafka分区数会与Executor数1：1对应。 操作步骤如下 1.引入依赖
Spark Streaming 整合 Kafka（Direct方式）在本地运行以及在集群中运行
Song_MJ的博客
04-08 570
Direct方法与Receiver方法对比及优势 1 简化并行度：简化并行度不需要创建多个输入流然后再进行合并。使用Direct方法Spark Streaming创建的RDD分区数与Kafka的分区一样多，这些RDD分区都从Kafka并行读取数据。因此，Kafka分区和RDD分区存在存在一对一的映射关系，这更已于理解和调整 2 提升效率：Receiver方法为了实现数据零丢失，需要将数据存储在预写...
Spark-Streaming连接kafka0.8 能连接却不能消费问题
狱蝶阿一的博客
11-22 1898
 话不多说,直接上代码 package cn.sparkstreaming.kafka import kafka.serializer.{StringDecoder, Decoder} import org.apache.spark.streaming.kafka.KafkaUtils import org.apache.spark.streaming.{Seconds, Streaming...
运行SparkStreaming+kafka遇到的坑。。。
duyenson的博客
12-09 1010
在使用spark streaming消费Kafka实时流数据的时候，在idea上运行出现以下错误： E:\Software_DevelopmentKit\Java\jdk1.8.0_212\bin\java.exe "-javaagent:E:\Software\Work\JetBrains\IDEA\IntelliJ IDEA 2019.3\lib\idea_rt.jar=51890:E:\So...
SparkStreaming消费kafka的各种坑，版本问题，jar包冲突
lpacino的博客
02-25 2085
项目简介 使用SparkStreaming+Kafka+SparkSQL+Hive实时消费数据，处理完之后写入hive分区表。 问题1.语言问题 描述： 在spark官网介绍上，SparkStreaming支持三种语言编写，scala,java,python， SparkSql支持四种语言（scala,java,python,R）。 我本人比较偏好使用scala编写，但是有一位同事只会使用java...
spark streaming 处理kafka数据并写入mysql
Wangzx的博客
10-10 1386
spark streaming 从kafka读取数据，将流处理结果写入mysql //spark streaming 从kafka读取数据，将流处理结果写入mysql import org.apache.kafka.clients.consumer.ConsumerRecord import org.apache.kafka.common.serialization.StringDeseriali...
SparkStreaming Kafka Kerberos 认证问题
地球人是我哈的博客
05-26 1655
目前在公司开发SparkStreaming 消费kafka数据，因为hadoop集群启用了kerberos认证，走了不少弯路，现在记录一下： 代码使用local模式跑是完全ok的，但是run on yarn 上，一直报错: Exception in thread "main" org.apache.kafka.common.KafkaException: Failed to construct kafka consumer at org.apache.kafka.clients.consumer.Kafk
flink集群启动taskmanager报错No JAAS configuration section named ‘Client was found in specified JAAS cgfile
lichao1618的博客
07-24 1903
flink集群启动taskmanager报错：No JAAS configuration section named 'Client' was found in specified JAAS configuration file：'/data/flink-1.15.4/tmp/jaas-8541466299643767547.conf'. Will continue connection to Zookeeper server without SASL authentication
Flink客户端错误：未找到名为Client的JAAS配置部分，认证失败
2301_79366435的博客
08-16 1231
本文将聚焦于一个常见的错误：Flink客户端报错“Flink No JAAS configuration section named Client ERROR: Authentication failed”（Flink未找到名为Client的JAAS配置部分，认证失败），并提供相应的解决方案。祝您使用Flink愉快！该错误通常是由于Flink客户端在寻找JAAS（Java身份验证和授权服务）配置时未找到指定的配置部分引起的。如果您使用的是较旧版本的Flink，请尝试升级到最新版本以解决可能存在的Bug。
CDH6集成Kerberos
wangkuangood3200的专栏
09-12 2203
一、概述 本文是针对cloudera大数据集群安全部署整理的文档，主要介绍了大数据集群Kerberos服务器部署和集成的过程。 这篇文章介绍了kerberos配置高可用HA的过程：Kerberos高可用HA配置 二、环境说明 1、主机名 主机名首字母必须为小写，否则在集成kerberos时会出现很多异常问题。 2、hosts文件 /etc/hosts文件中不要包含127.0.0.1的...
zookeeper异常排查
u012131610的博客
02-13 3059
 java.nex.ConnectException:Connection refused     at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)     at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:731)     at org.a...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值