Kafka消费与分区策略
本文探讨了Kafka中Consumer线程与Partition的关系，在不同负载情况下的最优配置建议。同时，也介绍了如何根据数据量来合理划分Partition的方法，并讨论了队列的一些限制参数设置。
Consumer
负载低的情况下可以每个线程消费多个partition。但负载高的情况下，Consumer 线程数最好和Partition数量保持一致。
见：http://www.open-open.com/lib/view/open1434551761926.html - 四. consumer和partition
Partition
1天有 1亿行可以分8个分区，如果每天几十万行就一个分区
见：http://www.cnblogs.com/oftenlin/p/4045924.html
队列限制
主要设置参数为 message.max.bytes，queued.max.requests，socket.request.max.bytes
见：Kafka 之 中级 http://my.oschina.net/frankwu/blog/305010
负载低的情况下可以每个线程消费多个partition。但负载高的情况下，Consumer 线程数最好和Partition数量保持一致。
见：http://www.open-open.com/lib/view/open1434551761926.html - 四. consumer和partition
Partition
1天有 1亿行可以分8个分区，如果每天几十万行就一个分区
见：http://www.cnblogs.com/oftenlin/p/4045924.html
队列限制
主要设置参数为 message.max.bytes，queued.max.requests，socket.request.max.bytes
见：Kafka 之 中级 http://my.oschina.net/frankwu/blog/305010
扫一扫
1284
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
