文章讨论了Kafka和RocketMQ在主从架构上的不同，Kafka基于partition的复制，而RocketMQ基于broker节点。RocketMQ的设计考虑了稳定的顺序写性能，其所有主题共享一个commitlog，减少了磁盘IO竞争和存储压力，但可能影响高可用性。RocketMQ的默认消息有效期为3天，有助于减轻存储压力。
kafka的master/slave是基于partition维度的,而rocketmq是基于broker节点(broker可以是多个master分节点)维度的; 还是和rocketmq想要稳定的顺序写性能设计有关.
- 主要: 其实这个问题也简单, 主服务的文件是所有主题共用一个commitlog, 那当然从服务就要定时拷贝同步这个commitlog了 (其他的文件也是如此). 既然只有一个commitlog, 那就是主从架构了, 以节点为维度, 而不是以"partition(队列)", 当然, 这样每个broker分到的主题主分片就少一些
https://blog.youkuaiyun.com/prestigeding/article/details/93672079
其余:
-
尽量只要少数几个可写的文件 (所有主题共用一个, kafka是每个主题的每个副本各一个日志文件)
按partition维度会造成文件个数增加, 磁盘io读写竞争增加 -
partition维度 需要尽量错开主副本, 对节点数还是有要求的 (比如es), 节点少副本多是不太好的. 高可用受影响
-
rocketmq默认是3天有效, 所以存储压力减少了一些
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
