【kafka】kafka NoSuchElementException ArrayDeque getLast 压缩方式不同

已于 2023-12-21 16:29:46 修改
阅读量1.6k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 2025最新-大数据-kafka 文章标签： kafka java 分布式
于 2021-12-02 22:12:34 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/121249056
在Flink消费Kafka任务中遇到偶发的NoSuchElementException，问题定位到Kafka内部代码可能存在并发调用导致。解决方法是确保生产者、服务器和消费者的压缩方式一致，例如统一为gzip，从而避免类似异常。另外，调整消费端的压缩格式也可解决问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录


在这里插入图片描述

1.场景1

1.1 概述

我一个flink消费kakfa的任务，然后这套程序很久了，但是最近2次偶现这个问题，而且不用操作，过一天就好了，奇怪。错误信息如下

在这里插入图片描述
根据报错找到相应的位置。然后看源码，自己单测试的时候

/**
     * java.util.NoSuchElementException
     */
    @Test
    public void getLast(
了解本专栏 订阅专栏 解锁全文
【kafka】Kafka消息压缩与解压与相关实验
九师兄
11-09 680
1.概述 本文一部分参考了文章：Kafka消息压缩与解压 本文做这个实验的主要功能是验证到底是不是压缩导致的这个问题 【Kafka】Kafka Record for partition topic at offset xx is invalid, cause: Record corrupt 2.Kafka消息压缩与解压 压缩具体来说就是用 CPU 时间去换磁盘空间或网络 I/O 传输量，希望以较多的 CPU 开销带来更少的磁盘占用或更少的网络 I/O 传输。在 Kafka 中，压缩也是用来做这件事的。 2.
[Spark版本更新]--2.3.0发行说明
欢迎来到我的博客，一起探索代码里的世界！
03-03 1万+
自从2017年12月1日发布spark-2.2.1以来，已有3个月时间。2018年2月28日，spark官方发布了一个大版本Spark-2.3.0，解决了1399个大大小小的问题。一、DataBricks做了相关说明今天，我们很高兴地宣布Databricks上的Apache Spark 2.3.0作为其Databricks Runtime 4.0的一部分。我们要感谢Apache Spark社区为S...
Kafka : 报错 KafkaController NoSuchElementException : : key not found : [xxx]
九师兄
07-04 1256
1.美图 2.背景 运行中的kafka 报错如下 目前还没找到原因 参考：KafkaKAFKA-415
java.util.NoSuchElementException在while循环中报错，二叉树的层序遍历
qq_21920075的博客
12-24 388
java.util.NoSuchElementException在while循环中报错 今天在做一道二叉树的层序遍历的题目时遇到了这个错误，在网上查了下，别人遇到这个报错的时候大部分是在使用iterator迭代器的时候，所以我猜大概是我的循环判断条件有误导致了这个错误。 以下是我的循环部分的出错代码： while(root!=null) { ...
java.util.NoSuchElementException错误的解决方法，亲测有效，嘿嘿嘿，已解决
最新发布
PythonAigc的博客
05-13 2190
`java.util.NoSuchElementException` 异常通常与尝试访问不存在的元素或元素已经被移除的迭代器（Iterator）或枚举（Enumeration）相关。这个异常是 Java 集合框架中的一部分，当我们在遍历集合（如使用 `for-each` 循环、迭代器或枚举）时，尝试访问集合中不存在的元素时，就会抛出此异常。
java.util.NoSuchElementException解决办法
djfiew7234的博客
08-06 205
猜测是某个interator出现了越界. 转载于:https://www.cnblogs.com/fatfatdachao/p/3894138.html
Java总结 - ArrayDeque
测试0901-1
02-01 4420
这次来说一下ArrayDeque,我们先看一下他的类关系图,其中忽略掉了一些标记性接口 我们看一下类的定义 public class ArrayDeque<E> extends AbstractCollection<E> implements Deque<E>...
Scala学习笔记-方便查找使用 为Spark学习打基础
楠楠好难
02-05 4856
Scala学习伊始为什么是Scala网课环境电脑环境安装IDEA插件安装IDEA关联Scala源码基础部分文档注释和生成字符串的三种输出变量和常量数据类型数据类型体系图小结具体数据类型 伊始 为什么是Scala 毕业设计所逼，我课题是《基于spark的实时音乐推荐系统》，而Spark是用Scala开发的，使用Scala必然最合适。虽然Spark提供了Java、Python等的API，但貌似效果不如Scala。 网课 自己找了个网课，开干
[Spark版本升级]-- spark-2.2.0发行说明
欢迎来到我的博客，一起探索代码里的世界！
07-18 6772
Spark-2.2.0版本发行时间：2017-7-11   一、Jira说明： https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12315420&amp;version=12338275   子任务 [ SPARK-1267 ] - 添加PySpark的pip安装程序 [ SPARK-3249 ] - ...
已解决java.util.NoSuchElementException异常的正确解决方法，亲测有效！！！
小明的Java问道之路
01-30 1万+
已解决java.util.NoSuchElementException异常的正确解决方法，亲测有效！！！
JAVA异常记录之NoSuchElementException
weixin_44143990的博客
04-10 1万+
java.util.NoSuchElementException 今天在实验过程中编译器抛出了java.util.NoSuchElementException，查阅资料后解决了这个问题，在这里记录下来。首先给出类似于下面的代码： public class test { public static void main(String[] args) { int number_int =...
Java NoSuchElementException: No value present 问题解决
m0_47649585的博客
11-27 4771
stream get() findfirst方法报错
java.util.NoSuchElementException异常原因
chen_heng_Ali的博客
07-16 2万+
java.util.NoSuchElementException异常原因 public class TestDemo { public static void main(String[] args) { HashMap<String, String> hashMap = new HashMap<>(); hashMap.put("a", "工人"); hashMap.put("b", "老师"); hashMap
ArrayDeque（java的循环数组）
yyoc97的专栏
03-23 1116
前言 最近在研读Kafka源码，发现它大量使用了ArrayDeque数据集合。这个集合类是java.util里提供的双端队列/栈，非线程安全，但是性能很好，非常值得研究一下。 // RecordAccumulator private final ConcurrentMap<TopicPartition, Deque<ProducerBatch>> batches; /...
java.util.NoSuchElementException
cceking的博客
06-22 3万+
遇到java.util.NoSuchElementException的分析
java.util.NoSuchElementException原因分析以及解决方法
热门推荐
WU2629409421perfect的博客
11-09 7万+
java输入流报错： Exception in thread "main" java.util.NoSuchElementException at java.base/java.util.Scanner.throwFor(Unknown Source) at java.base/java.util.Scanner.next(Unknown Source) at java.base/java....
spark中遇到Exception in thread "main" java.util.NoSuchElementException: key not found
阿瞒的博客
08-11 5800
这个问题如果是一般的java或scala项目,这个问题当然没什么好说的,就是找不到对应的键,但是我遇到的问题是在spark中,而且我确定不会出现键找不到的问题,所以一定是有其他问题. 首先,我spark项目中的所有任务都已经完成了以后才报错,这一点很值得思考,然后从spark的机制来看,很可能是我的集群中的某个节点没有访问到我的map,所以会出现这个问题, 我的代码中,出问题的map的键类型是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值