
kafka
修炼到救赎
这个作者很懒,什么都没留下…
展开
-
activemq、rabbitmq、kafka原理和比较
laiyaun:https://blog.youkuaiyun.com/lifaming15/article/details/79942793 一、activemq 虽然是java写的消息队列,但是提供Java, C, C++, C#, Ruby, Perl, Python, PHP各种客户端,所以语言上是没什么问题的。配置和使用,基本上是java xml这一套。同时对jms、spring之类的支...转载 2019-01-22 18:54:41 · 234 阅读 · 0 评论 -
kafka如何选择分区数及kafka性能测试
kafka如何选择分区数及kafka性能测试 1、简言 如何选择合适的分区,这是我们经常面临的问题,不过针对这个问题,在网上并没有搜到固定的答案。因此,今天在这里主要通过性能测试的工具来告诉如何选择相对应的kafka分区。 2、性能测试工具 kafka本身提供了比较的性能测试工具,我们可以使用它来测试适用于我们机器的kafka分区。 ① 生产者性能测试 分别创建三个topi...转载 2019-05-30 00:30:23 · 1433 阅读 · 0 评论 -
如何确定Kafka的分区数、key和consumer线程数
来源:https://www.cnblogs.com/wq3435/p/7079726.html 在Kafak中国社区的qq群中,这个问题被提及的比例是相当高的,这也是Kafka用户最常碰到的问题之一。本文结合Kafka源码试图对该问题相关的因素进行探讨。希望对大家有所帮助。 怎么确定分区数? “我应该选择几个分区?”——如果你在Kafka中国社区的群里,这样的问题你会经常碰到的。不过有些遗...转载 2019-05-30 00:31:43 · 216 阅读 · 0 评论 -
kafka消息存储与partition副本原理
消息的存储原理: 消息的文件存储机制: 前面我们知道了一个 topic 的多个 partition 在物理磁盘上的保存路径,那么我们再来分析日志的存储方式。通过 ll /tmp/kafka-logs/testTopic-0/ 命令找到对应 partition 下的日志内容: kafka 是通过分段的方式将 Log 分为多个 LogSegment,LogSegment 是一个逻...转载 2019-06-17 18:08:54 · 397 阅读 · 0 评论