tidb-cdc同步kafka报错Message was too large

最新推荐文章于 2025-03-28 19:08:52 发布

原创最新推荐文章于 2025-03-28 19:08:52 发布 · 485 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #java #大数据

TIDB 专栏收录该内容

63 篇文章

订阅专栏

本文介绍了如何通过调整Kafka配置参数，包括`message.max.bytes`、`replica.fetch.max.bytes`和`fetch.message.max.bytes`，来增大消息处理的字节数量，从而增强broker和消费者的吞吐量。这种方法适用于需要处理大量数据的高负载环境。

在kafka的配置文件中填写以下参数调大同步的消息数量，然后重启kafka即可

# broker 能接收消息的最大字节数
message.max.bytes=947483648
# broker 可复制的消息的最大字节数
replica.fetch.max.bytes=947483648
# 消费者端的可读取的最大消息字节数
fetch.message.max.bytes=947483648

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

与数据交流的路上

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【kafka】Kafka consumer处理大消息数据过大导致消费停止问题

九师兄

07-18

4115

1.概述转载：https://www.cnblogs.com/wynjauu/articles/9409686.html 昨天线上发现一个现象：kafka一个topic有数据生产，但是没有消费了，各种排查es集群、内存使用情况等都正常，但是就是消费线程死了一样，重启jboss也没有用，最后发现是因为消费该topic的kafka八的partition因为遇到了大数据超过1M而都被堵塞（我们是四台机器每个机器两个partation消费）。下面是网上看到到一个解释博客： 2.案例分析处理kafka con.

kafka单条消息过大发送失败

IT深耕十余载，大道之简

09-07

1293

在使用Apache Kafka时，如果单条消息过大，可能会导致发送失败。：Kafka的broker配置中，参数定义了broker能接受的最大消息大小（默认是1MB）。如果消息大小超过了这个值，broker会拒绝接受这个消息。：Producer的参数（默认与相同）定义了Producer发送给broker的请求的最大大小。这个大小包括了消息本身的大小以及任何可能的元数据或协议开销。

参与评论您还未登录，请先登录后发表或查看评论

处理Spark的Too large frame报错及优化Shuffle算子的经验总结

最新发布

10-12

flink-sql-connector-tidb-cdc-3.5.0

flink-sql-connector-tidb-cdc-2.5-SNAPSHOT.jar

08-15

flink-sql-connector-tidb-cdc 2.5-SNAPSHOT

flink-connector-tidb-cdc-3.5.0.jar

10-12

flink-connector-tidb-cdc-3.5.0

tidb配置cdc同步

qq_22483767的博客

09-12

289

【代码】tidb配置cdc同步。

TIDB-cdc的初步使用

line_on_database的博客

09-15

2468

一、背景目前想用tidb支撑一个主要的业务，为了安全，需要在后面接一个mysql用来备份，闪回及关键时刻切回的操作二、操作流程 1.安装ticdc 这一步可以通过部署部署集群的时候安装，也可以后期扩容，这一步比较简单 2.tidb端的操作因为同步没法找到一个准确的时间点，且主库又无法停业务，所以需要提前复制一部分 2.1 查看tidb的gc配置 # ticdc的start-ts 的值需要大于 TiDB 集群当前的 tikv_gc_safe_point mysql> select VARIABLE

TIDB-kafka server: Message was too large, server rejected it to avoid allocation error

line_on_database的博客

09-26

553

一、背景使用drainer同步到kafka报错： ["fail to produce message to kafka, please check the state of kafka server"] [error="kafka: Failed to produce message to topic test-tidb: kafka server: Message was too large, server rejected it to avoid allocation error."] 二、解决

kafka java api 入数据报错：Error: MESSAGE_TOO_LARGE

那又怎样？的博客

12-18

3608

1.kafka版本：kafka_2.11-2.1.0-kafka-4.0.0.jar 2.server.properties：所有调优参数都是默认 3.topic ：null，所有参数默认 4.入库1G txt文件，只加三个参数： acks：all batch.size：1048576 linger.ms：10 引用：http://www.mamicode.com/info-detai...

kafka 报错消息太大解决方案 Broker: Message size too large

sunshine_sean的专栏

03-28

688

kafka-configs.sh --bootstrap-server localhost:9092 \ --alter --entity-type topics \ --entity-name sim_result_zy \ --add-config max.message.bytes=10485880 学习营课程

TiDB TiCDC Kafka Topic分发规则详解

sorpio_wyf的博客

05-08

1611

本文将详细讲解ticdc同步kafka消息topic分发规则

TiDB数据库从入门到精通系列之六：使用 TiCDC 将 TiDB 的数据同步到 Apache Kafka

zhengzaifeidelushang的博客

08-16

2013

TiDB数据库从入门到精通系列之六：使用 TiCDC 将 TiDB 的数据同步到 Apache Kafka

TiDB同步增量数据到Kafka

总想试试，万一成了呢？？

03-16

866

本文主要是根据官方文档指导，结合实际主机情况，在CentOS 7上通过TiCDC 将TiDB增量数据同步到Kafka。

TiDB 同步数据到 Kafka 最佳实践

TiDB 社区干货传送门

12-29

599

作者： Billmay 原文来源： https://tidb.net/blog/192ff559 ...

解决ORC元数据片段超过protobuf message大小限制问题

L13763338360的博客

05-06

3865

问题描述用datax将数据从业务库同步到数仓，hive表采用的是orc存储格式。业务表数据量比较大，4000多万，表有点复杂，表字段超过100个。花了3个小时左右同步完，select count(*)统计表数据量时报错，如下 Diagnostic Messages for this Task: Error: java.io.IOException: java.lang.reflect.In...

Kafka RecordTooLargeException问题解决

weixin_46161645的博客

02-24

482

Producer向Kafka写入数据时遇到异常：org.apache.kafka.common.errors.RecordTooLargeException。该异常是因为单条消息大小超过限制导致的。参数默认值为1000012，调整为适合的值，如10485760。（1）server端：server.properties。设置Producer的参数。的值与server端的。

flink通过flink-connector-tidb-cdc使用streamapi方式连接tidb

04-04

Flink通过Flink-connector-tidb-cdc连接TiDB的过程如下： 1. 准备工作在开始使用Flink-connector-tidb-cdc之前，需要准备以下内容： - TiDB实例 - TiCDC组件 - Flink-connector-tidb-cdc依赖的jar包 2. 创建...