
MQ
文章平均质量分 55
godkzz
多多益善
展开
-
Kafka的生产者与消费者解析
一、生产者1.分区策略 分区的原因 (1)方便在集群中扩展,每个 Partition 可以通过调整以适应它所在的机器,而一个 topic 又可以有多个 Partition 组成,因此整个集群就可以适应任意大小的数据了。(2)可以提高并发,因为可以以 Partition 为单位读写了。 分区的原则 我们需要将 producer 发送的数据封装成一个 ProducerRecord 对象。(1)指明 partition 的情况下,直接将指明的值直接作为 p.原创 2021-12-29 10:26:20 · 1184 阅读 · 0 评论 -
Kafka工作流程及文件存储机制
Kafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消息,都是面向 topic 的。 topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文 件,该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该 log 文件末端,且每条数据都有自己的 offset。消费者组中的每个消费者,都会实时记录自己 消费到了哪个 offset,以便出错恢复时,从上次...原创 2021-12-29 09:40:51 · 118 阅读 · 0 评论 -
Kafka的点对点模式、发布订阅模式、基础架构
一、定义Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于 大数据实时处理领域。二、消息队列 使用消息队列的好处 1)解耦允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。2)可恢复性 系统的一部分组件失效时,不会影响到整个系统。消息队列降低了进程间的耦合度,所 以即使一个处理消息的进程挂掉,加入队列中的消息仍然可以在系统恢复后被处理。3)缓冲有助于控制和优化数据流经过系统的速度,解决生产...原创 2021-12-27 15:21:58 · 5910 阅读 · 1 评论 -
RocketMQ之顺序(有序)消息的发送和接收
RocketMQ之顺序(有序)消息的发送和接收原创 2021-12-01 14:52:32 · 869 阅读 · 0 评论 -
RocketMQ消费消息中的负载均衡模式和广播模式
RocketMQ消费消息中的负载均衡模式和广播模式原创 2021-11-26 10:11:49 · 497 阅读 · 0 评论 -
RocketMQ消息发送的三种方式
RocketMQ的三种发送消息方式原创 2021-11-26 09:50:21 · 3312 阅读 · 0 评论