kafka 报错：Caused by: java.lang.OutOfMemoryError: Map failed

最新推荐文章于 2024-02-27 13:21:42 发布

原创最新推荐文章于 2024-02-27 13:21:42 发布 · 968 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#java #kafka #jvm

Java学习同时被 2 个专栏收录

5 篇文章

订阅专栏

项目bug

1 篇文章

订阅专栏

博主分享了安装并测试Kafka过程中遇到的OutOfMemoryError，尝试了JVM升级、heap参数调整等方法，最终通过将KAFKA_HEAP_OPTS设置为256M解决了问题。

安装完kafka 测试运行时
前面都没问题一到创建消费者就报错

Caused by: java.lang.OutOfMemoryError: Map failed

卸载重装不行
有人说因为JVM和电脑64位不匹配
查了一下我JVM是32位，就又下载了64位的，配置好启动kafka还是同样的错误
接着又看，有人说更改kafka-server-start.bat和kafka-run-class.bat里的参数

KAFKA_HEAP_OPTS

但是大家都说往大了改，但是修改之后依旧是报错，同样的
折腾了半天无果
晚上又用手机查，看到一位说改为256

set KAFKA_HEAP_OPTS=-Xmx256M -Xms256M

今天试了以下，终于好了！虽然不太明白为啥这样改，以后再来看看吧
终于能先跑起来了

参考：https://my.oschina.net/u/4932969/blog/5294480

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

柚子呀

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Spark常见问题解决-日志和排查办法

someInNeed的博客

01-25

953

（3）查看是否任务参数设置不合理，例如executor-memory是设的大，但是--num-executors设置的很少才几十个，可以根据集群情况和业务量大小合理增大executor数，数量判断标准是一个executor的CPU core同一时刻尽量只处理一个HDFS block的数据（如128或256M），在没有设置--executor-cores等参数的情况下，默认一个executor包含一个CPU core。elasticsearch-hadoop使用的就是HTTP方式连接的ES集群。

Windows系统下kafka环境搭建与用命令发布消息和消费消息，java.lang.OutOfMemoryError: Map failed的异常处理

weixin_41076658的博客

08-14

1251

1、准备kafka环境 2、下载kafka 3、部署并启动zookeeper和kafka 4、创建topic 5、用命令创建producer和consumer，发布消息并消费 6、启动kafka和消费消息时的异常处理

1 条评论您还未登录，请先登录后发表或查看评论

【Kafka启动报错】Caused by: java.lang.OutOfMemoryError: Map failed

jast

02-15

1561

参考：https://stackoverflow.com/questions/43042144/kafka-server-failed-to-start-java-io-ioexception-map-failed 报错日志 [2022-02-15 16:50:40,558] ERROR Error while deleting the clean shutdown file in dir /home/es/kafka_2.11-2.2.1/logs (kafka.server.LogDirFailureC

kafka启动报错:java.lang.OutOfMemoryError: Map failed

泡椒酱的的Java学习记录

03-17

7280

kafka原来启动运行的时候，集群启动时正常的，今天在用kafka测试的时候，启动kafka集群，其中的两个节点启动失败，报错如下： java.io.IOException: Map failed at sun.nio.ch.FileChannelImpl.map(FileChannelImpl.java:944) at kafka.log.AbstractInde...

Windows10启动Kafka报错java.lang.OutOfMemoryError: Map failed

四国棋客

12-16

2753

背景在学习Flink的流处理API时，不可避免地要学Kafka。问题在启动Kafka的服务器时，报了一堆错误，关键的错误如下 java.io.IOException: Map failed at sun.nio.ch.FileChannelImpl.map(FileChannelImpl.java:944) at kafka.log.Abstract...

java map failed_java.lang.OutOfMemoryError:Map failed总结

weixin_29621655的博客

02-13

528

常见的OOM是以下这几种：1.GC overhead limit exceeded2.Java Heap Space3.Unable to create new native thread4.PermGen Space5.Direct buffer memory6.request {} bytes for {}. Out of swap space?一直自认为不会有超过这个范围的OOM类型出现，没...

Flink项目开发、上线全流程报错集合加处理办法（持续更新，附原因解决办法）

weixin_42642502的博客

09-27

4500

1、由于自己启动任务用的是root用户、未使用FlinkProject 用户产生以下报错 org.apache.flink.client.program.ProgramInvocationException: Could not retrieve the execution result. (JobID: 9ebe0758cd287126758d57b15fb5e5a3) at org.apache.flink.client.program.rest.RestClusterClient.submitJob

Exception in thread "main" org.apache.flink.runtime.client.JobExecutionException: Job execution failed.

最新发布

10-31

Caused by: java.lang.OutOfMemoryError: Java heap space ``` 解决方案： - 调整 `taskmanager.memory.process.size` 或 `jobmanager.memory.process.size` - 减少并行度 - 关闭 checkpoint 测试是否仍报错 --- ...

hadoop/dolphin/hive/flink等大数据应用对接适配问题及解决方案

悢七的优快云博客

02-27

1343

大数据平台数据迁移测试问题及解决方案记录记得有点乱，但都是关键点

【Kafka】由浅入深分析OutOfMemoryError: Map failed

扬_帆_起_航

12-01

1061

经过层层分析终于知晓在Kafka运行过程中抛出OutOfMemoryError: Map failed异常并调整系统参数 max_map_count值的整个来龙去脉。需要特别强调Linux系统函数do_mmap中包含多项安全检查，只要任何一项检查不通过都会抛出ENOMEM异常，如果系统参数max_map_count调大后问题依然存在可自助查看该函数源码并分析没有通过安全检查的原因。

kafka测试工具_maps资源不够引发了Kafka故障

weixin_39540834的博客

11-29

187

我们遇到“不能分配内存的问题”导致Kafka Crash，观察kafka maps数超过了6w，实际RedHat 6.4（包括7.2和7.4）默认是65530，即使重启Kafka，也无法运行。于是我们在sysctl.conf文件中，将vm.max_map_count设置为262144。再重启Kafka，成功启动Kafka。于是问题来了，maps资源不够，是个直接原因，那根本原因是什么呢？有人提出是...

java map failed_java.lang.OutOfMemoryError: Map failed此报错如何解决

weixin_36262567的博客

02-16

1605

java.io.IOException: Map failed详细信息如下：java.lang.RuntimeException:java.io.IOException:Mapfailedatcom.fr.web.core.MessageRecorder.initWriter(UnknownSource)atcom.fr.web.core.MessageRecorder.write(...

FATAL Fatal error during KafkaServerStartable startup. java.lang.OutOfMemoryError: Java heap space

liuhui_306的专栏

10-22

5615

今天搭建了kafka单机版用于测试，配置好以后启动kafka时出现了内存溢出的问题，如下： [2016-10-22 10:39:39,112] INFO [Kafka Server 0], shut down completed (kafka.server.KafkaServer) [2016-10-22 10:39:39,113] FATAL Fatal error during Kafka

Kafka处理大文件出现内存溢出 java.lang.OutOfMemoryError: Direct buffer memory

DreamWeaver_Zhou

09-27

9767

这篇文章是我在粗略学习kafka时遇到的问题和网上查阅过的资料。kafka和java我都不是很熟悉，只知道基本的概念。文章中可能有疏漏和错误的地方，大家参考一下就好。有错误拜托大家指正！ broker端配置文件需要配置的参数 message.max.bytes : kafka 会接收单个消息size的最大限制，默认为1M左右。如果producer发送比这个大的消息，kafka默认会丢掉。p...

kafka报错：java.io.IOException: Map failed（解决办法），牛客网第五章，关于kafka的应用。

weixin_52790331的博客

03-31

1181

kafka

【Kafka】kafka OutOfMemoryError: Direct buffer memory Java heap space

九师兄

08-06

2043

我本篇文章不是来解决问题的，主要是记录一下什么情况下会出现这个问题。的时候，因为机器太卡导致内存溢出。

kafka内存溢出分析：OutOfMemoryError

Autumn_bell的博客

11-19

7190

线上Kafka问题分析：OutOfMemoryError 前言：最近在线上遇到个奇怪的问题，具体的情景是：由于客户有相应的需求，我们需要提前在程序中判断Kafka集群是否可用，于是我们使用了Kafka0.11.0.0版本之后提供的KafkaAdminClient，这可以方便的创建一个kafka客户端进行集群的管理操作。经过：我们使用listTopics()来获取kafka集群所有的topic，如果能获取到相应数据，则能够说明kafka集群运行正常，代码很简单： package com.wenjie.d

kafka重启异常报map failed的解决办法

z11220857的博客

07-16

3913

zk版本：3.4.9 kafka版本：0.10.1.1 集群节点数：6 * 32core,256G java版本，jdk 1.8.0 64bit 背景：6月15日晚9点网络割接，会造成不同网段之前网络断联3min，因此触发了0.10.1.1版本的一个bug，与zk通信版本不同步，zk会报bad version 的问题，9点15分和kakfa 共用的zk的容器集群开始不正常，同时kafka下游消费者反映消费不到数据，因此决定重启zk集群，重启zk集群之后，容器节点恢复正常，但是kafka下游依旧消费不到数据，

java.lang.OutOfMemoryError处理错误

xiangnideshen的专栏

10-30

923

java.lang.OutOfMemoryError异常解决方法原因：常见的有以下几种：1.内存中加载的数据量过于庞大，如一次从数据库取出过多数据；2.集合类中有对对象的引用，使用完后未清空，使得JVM不能回收；3.代码中存在死循环或循环产生过多重复的对象实体；4.使用的第三方软件中的BUG；5.启动参数内存值设定的过小；常见错误提示： 1.tomcat:java.lang.OutOfMemo

springboot整合kafka 报错：Caused by: org.springframework.transaction.InvalidIsolationLevelException: Apache Kafka does not support an isolation level concept

07-10

<think>我们正在解决Spring Boot整合Kafka时出现的`InvalidIsolationLevelException`异常，异常信息为“Apache Kafka does not support an isolation level concept”。这个异常通常与事务配置有关，因为Kafka本身不支持像数据库那样的事务隔离级别。 ### 问题分析在Spring Boot中，当我们使用Kafka事务时，可能会尝试设置事务的隔离级别。然而，Kafka的事务机制与数据库不同，它不支持设置隔离级别（如`READ_COMMITTED`或`READ_UNCOMMITTED`）。因此，如果在配置中指定了隔离级别，就会抛出`InvalidIsolationLevelException`。 ### 解决方案 1. **检查事务配置**：确保在配置Kafka事务时没有设置隔离级别。在Spring Boot中，事务的配置通常通过`KafkaTransactionManager`或`@Transactional`注解来实现。注意，Kafka事务管理器不支持设置隔离级别。 2. **移除隔离级别设置**：如果你在配置中显式设置了隔离级别，请移除它。例如，在配置`DefaultKafkaProducerFactory`时，不要设置`transactionIdPrefix`以外的与事务隔离级别相关的属性。 3. **使用正确的配置属性**：在Spring Boot的`application.properties`或`application.yml`中，检查是否有与Kafka事务隔离级别相关的属性，如`spring.kafka.producer.isolation-level`。如果有，请删除该配置项。 ### 配置示例以下是一个正确的Kafka事务配置示例（不包含隔离级别）： ```java @Configuration @EnableTransactionManagement // 启用事务管理 public class KafkaConfig { @Bean public ProducerFactory<String, String> producerFactory() { Map<String, Object> configProps = new HashMap<>(); configProps.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092"); configProps.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class); configProps.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class); // 启用事务，设置transactionIdPrefix configProps.put(ProducerConfig.TRANSACTIONAL_ID_CONFIG, "tx-"); return new DefaultKafkaProducerFactory<>(configProps); } @Bean public KafkaTransactionManager<String, String> kafkaTransactionManager(ProducerFactory<String, String> producerFactory) { return new KafkaTransactionManager<>(producerFactory); } } ``` ### 注意事项 - 在Kafka中，事务主要用于确保消息的原子性（即所有消息都成功发送或都不发送）和跨分区的原子性写入。它不提供读取隔离。 - 如果你需要消费事务消息，确保消费者的`isolation.level`配置为`read_committed`（这是Kafka消费者端支持的配置，用于控制是否读取未提交的事务消息）。但请注意，这是在消费者端的配置，生产者端不需要设置隔离级别。 ### 总结 `InvalidIsolationLevelException`异常是由于在Kafka生产者配置中设置了隔离级别导致的。Kafka本身不支持在生产者端设置隔离级别，因此解决方案是移除所有与隔离级别相关的配置。 §§相关问题§§ 1. Spring Boot中如何正确配置Kafka事务？ 2. Kafka事务的工作原理是什么？ 3. 在Kafka中，消费者如何读取事务消息？ 4. 如何避免Kafka事务中的常见错误？</think>### Spring Boot整合Kafka时解决InvalidIsolationLevelException异常这个异常的根本原因是**Kafka本身不支持数据库式的事务隔离级别**。当Spring Boot尝试配置Kafka事务时，如果错误地设置了隔离级别属性，就会触发此异常。 --- #### 原因分析 1. **Kafka的事务机制差异** Kafka的事务仅保证生产者发送消息的原子性和幂等性（如Exactly-Once语义），但**不提供数据库式的隔离级别**（如READ_COMMITTED）。Kafka事务的设计目标是确保消息不丢失、不重复，而非数据隔离[^1]。 2. **错误配置来源** 通常在以下配置中误加了隔离级别设置： ```properties # 错误示例（会触发异常） spring.kafka.producer.isolation-level=read_committed ``` --- #### 解决方案 **步骤1：检查并移除隔离级别配置** 删除所有Kafka生产者配置中与隔离级别相关的属性： ```properties # 正确配置（删除isolation-level） spring.kafka.producer.bootstrap-servers=your-broker:9092 spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer # 如果需要事务支持，只需设置transaction-id前缀 spring.kafka.producer.transaction-id-prefix=tx- ``` **步骤2：显式禁用事务隔离（可选）** 在代码中明确关闭隔离级别检查： ```java @Configuration public class KafkaConfig { @Bean public ProducerFactory<String, String> producerFactory() { Map<String, Object> config = new HashMap<>(); config.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092"); config.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class); config.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class); // 关键设置：禁用隔离级别 config.put(ProducerConfig.ISOLATION_LEVEL_CONFIG, "none"); // 或完全移除此配置项 return new DefaultKafkaProducerFactory<>(config); } } ``` **步骤3：正确使用Kafka事务** 仅需通过`@Transactional`注解管理事务，无需指定隔离级别： ```java @Service public class KafkaService { @Autowired private KafkaTemplate<String, String> kafkaTemplate; @Transactional("kafkaTransactionManager") // 使用事务管理器 public void sendWithTransaction(String topic, String message) { kafkaTemplate.send(topic, message); // 其他操作（如数据库操作）可加入同一事务 } } ``` --- #### 关键注意事项 1. **消费者端隔离级别** 消费者可以设置`isolation.level`（但生产者不能）： ```properties # 消费者端有效配置 spring.kafka.consumer.isolation-level=read_committed ``` 2. **事务ID前缀要求** 启用事务时必须设置唯一`transaction-id-prefix`，且每个生产者实例前缀需唯一。 3. **Kafka版本兼容性** 确保Spring Kafka版本与Kafka Broker兼容： ```gradle // 推荐版本（Spring Boot 2.7+） implementation 'org.springframework.kafka:spring-kafka:2.9.0' ``` > **原理说明**：Kafka事务通过`TransactionalId`关联生产者实例，使用幂等性和事务协调器保证消息原子性，而非通过数据库式锁机制实现隔离[^2]。 ---