
kafka
文章平均质量分 51
kafka相关文章
当当是个程序员
回归csdn,以后都在这个站更新文章
展开
-
spark streaming和kafka相关应用
kafka优势kafka相比于其他消息系统能够实现有序的并行化的读取,其他的消息系统如果需要实现有序,是通过独占的形式,那样就不能并行化,每次只能有一个消费者读取数据。kafka通过topic和partition的方式实现有序的并行化,每个消费者可以独占一个partition,同时多个消费者读取同一个topic的数据,这样就实现了并行化,但是一个消费群组的消费者不能比一个topic的分区数多,这样如果继续保持有序,会导致资源竞争,降低读取并行效率。概念kafka 集群包含一个或者多个服务器,原创 2021-09-17 17:33:27 · 219 阅读 · 0 评论 -
kafka 写入数据时分区的选择规则
写入kafka的数据根据key决定数据写到哪个分区,下面是实现代码:if (record.partition() != null) { // they have given us a partition, use it if (record.partition() < 0 || record.partition() >= numPartitions) throw new IllegalArgumentException("Invalid partition gi原创 2021-09-17 17:22:38 · 1675 阅读 · 0 评论