Kafka SimpleConsumer——buffersize?fetchsize?

最新推荐文章于 2025-05-26 18:13:29 发布

原创

最新推荐文章于 2025-05-26 18:13:29 发布 · 2.8k 阅读

0 ·

CC 4.0 BY-SA版权

本文探讨了使用Kafka 0.8.2低级别API时SimpleConsumer初始化过程中的buffersize和fetchsize设置。SimpleConsumer的soTimeout参数是连接超时时间，而fetchRequest的minbytes参数规定了数据量不足时的等待行为。fetchSize则影响一次fetch返回的消息数量，与消息大小相关。buffersize可能影响数据读取速度，作为接收来自broker数据的缓冲区大小。

感觉网上关于Kafka的资料特别少，在用Kafka0.8.2的low level API的时候遇到了SimpleConsumer和Fetch的初始化的时候碰到了几个size的设置，一直不知道设置对消费的影响：

第一个是初始化SimpleConsumer时候的倒数第二个参数buffersize

SimpleConsumer consumer = new SimpleConsumer(leadBroker, a_port, 100000, 1 * 1024, clientName);

第二个是每次fetch时候设置的最后一个参数fetchSize：

FetchRequest req = new FetchRequestBuilder().clientId(clientName)
                    .addFetch(a_topic, a_partition, readOffset, 200000)

据我的测试和在stackflow上的查阅，大致明白了，在此记录一下，如果有不正确的地方希望大家可以指正。

stackflow link：Click here!

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Wangqyoho

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

深入浅出理解kafka原理系列之：发送消息的缓冲区机制buffer.memory、batch.size、linger.ms

zhengzaifeidelushang的博客

12-16

3960

深入理解kafka原理：发送消息的缓冲区机制buffer.memory、batch.size、linger.ms一、buffer.memory二、batch.size三、linger.ms kafka默认会创建一个消息缓冲区，用来存放要发送的消息，缓冲区是32M kafka本地线程会去缓冲区中一次拉16k的数据，发送到broker 如果线程拉不到16k的数据，间隔10ms也会将已拉到的数据发送到broker 一、buffer.memory 设置发送消息的本地缓冲区，如果设置了该缓冲区，消息会先发送到本

【Kafka】kafka OutOfMemoryError: Direct buffer memory Java heap space

九师兄

08-06

2045

我本篇文章不是来解决问题的，主要是记录一下什么情况下会出现这个问题。的时候，因为机器太卡导致内存溢出。

参与评论您还未登录，请先登录后发表或查看评论

kafka常用命令

qq_21305943的专栏

06-08

325

新版本的kafka命令登录到kafka客户端的config目录下 **config] cat client.properties //查看kafka中broker的配置 metadata.broker.list = ip:21005, *** **config] cat ./* |grep 'broker' //查看kafka中broker的配置 **config] cat ./* |grep 'zookeeper' //查看集群中zookeeper的配置新版本的k...

kafka性能测试、性能分析与性能调优

最新发布

07-25

- `log.cleaner.dedupe.buffer.size`：如果启用日志压缩（log compaction），增加此值（如`1g`）减少清理时的GC压力。 - **控制网络和缓冲区**： - `replica.fetch.max.bytes` 和 `message.max.bytes`：增加（如`...

无侵入式的mysql的binlog采集——maxwell采集binlog放到kafka中——成功！

大壮的博客

06-06

3299

调研过flume，目前采用datax，但是都是具有侵入式，即使再增量也会影响服务器性能，详细藐视可以查看我以前的文章。调研flume、cannal、outter、maxwell 最后无侵入式的，实时的。主要区别： 1、虽然Maxwell不能直接支持HA，但是它支持断点还原，即错误解决后重启继续上次点儿读取数据。 2、Canal是服务端，数据过来了并不能直接写出去，需要一个客户端：s...

kafka的原理

散步的博客

11-26

218

生产-消费流程：数据从生产-消费-提交offset过程，分以下几个阶段来进行。生产者：生产者是一个向kafkaCluster 发布记录的客户端，生产者是线程安全的，跨线程共享单个生产者实践通常比具有多个实例更快。必要条件：生产者要进行生产数据到kafkaCluster中，必要条件有以下三个： 1.地址 bootstrap.servers=node01:9092 2.序列化key.serializer=org.apache.kafka.common.serialization...

大数据-Kafka（十）

海恋北斗星

04-18

478

大数据-Kafka（十） producer消息发送原理 ProducerInterceptors是一个拦截器，对发送的数据进行拦截。 Serializer 对消息的key和value进行序列化。通过使用分区器作用在每一条消息上，实现数据分发进行入到topic不同的分区中。 RecordAccumulat...

Kafka跨集群同步工具——MirrorMaker

Linux平台软件设计与开发

02-16

1万+

MirrorMaker是为解决Kafka跨集群同步、创建镜像集群而存在的；下图展示了其工作原理。该工具消费源集群消息然后将数据重新推送到目标集群。 MirrorMaker使用方式启动mirror-maker程序需要一个或多个consumer配置文件、一个producer配置文件是必须的其他参数是可选的。 kafka-run-class.sh kafka.tools.MirrorMaker

Kafka调优策略

wanger61的博客

08-22

2390

例如：producer 吞吐量 = 20m/s；consumer 吞吐量 = 50m/s，期望吞吐量 100m/s；• ISR 里应答的最小副本数量大于等于 2（min.insync.replicas = 2）参考文献：https://zhuanlan.zhihu.com/p/371361083。• 幂等性（enable.idempotence = true） + 事务。• 区副本大于等于 2 （–replication-factor 2）分区数 = 100 / 20 = 5 分区。

Kafka处理的消息大小与堆外内存

卧龙居

10-12

2741

如果说，Kafka处理的消息大小，与它所用的堆外内存，会存在一定程度的关系。你一定会觉得非常奇怪。毕竟，阅读kafka处理消息的源码时，只看到了它申请了堆内存，并未发现有申请堆外内存。如果在jvm参数里，将maxDirectMemory的大小限制为100M。那么，我们写一个简化版的kafka broker 9092消息处理程序来进行一下实验。真是奇怪，代码里并未直接申请堆外内存，怎么会在实验中发现堆外内存的增长呢？

Kafka性能调优三剑客：深度解析buffer_memory、linger_ms和batch_size

ztt123654的博客

05-26

1473

💝💝💝欢迎莅临我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。持续学习，不断总结，共同进步，为了踏实，做好当下事儿~非常期待和您一起在这个小小的网络世界里共同探索、学习和成长。💝💝💝 ✨✨ 欢迎订阅本专栏 ✨✨。

Kafka核心配置参数与机制

Widsom的博客

06-08

1万+

Kafka核心配置参数与机制 1. kafka集群安装 kafka集群安装，参考文章: Kafka集群搭建及生产者消费者案例 2. kafka配置参数 broker.id：broker的id，id是唯一的非负整数，集群的broker.id不能重复。 log.dirs：kafka存放数据的路径。可以是多个，多个使用逗号分隔即可。 port：server接受客户端连接的端口，默认6667...

Producer 性能调优公式及验证

美伊小公主的超级奶爸的专栏

07-24

1306

背景 Kafka的Producer有很多的参数可以影响到Producer的写性能. 大多数人应该会对这些参数比较困惑, 往往会混淆名称相似的参数; 即使能够区分每个参数的意义，也很难知道如何通过组合这些参数达到Producer的比较高的性能. 本人通过研究源码加上实践和思考，总结出了一个计算Producer的吞吐的公式, 这个公式包含Producer端重要的调优的参数，可以帮助大家直观

kafka 参数说明

u011500419的专栏

05-11

1346

auto.commit.interval.ms=5000 auto.offset.reset=latest bootstrap.servers=[testserver7:9092,testserver5:9092,testserver4:9092] check.crcs=true client.id= connections.max.idle.ms=540000 ...

kafka 配置文件参数详解

loveLifeLoveCoding的博客

06-12

1228

官方文档：Apache Kafkahttps://kafka.apache.org/20/documentation.htmlkafka的配置分为 broker、producter、consumer三个不同的配置最为核心的三个配置 broker.id、log.dir、zookeeper.connect 。