大道至简

消息中间件 架构图 保证高可靠 recover 可以防止dispatcher线程池不够用或者内存不够时 高实时

kafka的消息数据怎么才能满足企业中各种应用场景的需求呢？ 消费者组横向伸缩 一个主题可以被多个消费者组订阅，各个企业有一个消费者组，订阅消息，消费者组可以横向伸缩，从而减轻消费者负载。 kafka如何保证消息的海量存储，及快速查询，和单点故障呢？ 分片+副本 消息在存储时，是根据每个消息的key进行 hash(key)%分区数（此hash算法是kafka自己实现和jdk无关）计算出对...

它被设计为一个分布式系统，易于向外扩展； 一个Topic对应的消息被分区存储，分区位于不同的机器上并且有副本，从而保证很好的扩容，支持大量消息的存储， 同时支持并发消费（不同的消费者消费不同的分区） 它同时为发布和订阅提供高吞吐量； 消费者被分为消费组，一个partition 中的消息只会被group 中的一个consumer 消费;每个group 中consumer 消息消费互相独...

多个生产者生产同一个主题的消息（各自写各自的分区） 多个消费者消费同一个主题的消息（各自读各自的分区） 强大的伸缩性和扩展性 可以增加/减少机器而不影响整个集群的服务的提供 存储海量的消息 可以通过增加broker 来增加系统的存储量 并发读/并发写 各自读不同的分区 各自写不同的分区 ...

磁盘 主要考虑存储多大的消息 内存 消费者消费时从系统的页面缓存中读取数据 CPU 数组的压缩和解压 网络 多消费者共享网络带宽 磁盘吞吐量 机械磁盘 存储量大 吞吐量小 固态磁盘 吞吐量大 存储量小 集群 解决负载均衡 解决单点故障 （复制） ...

acks 值越大，数据不丢失保证率越高，但是吞吐量越低。 buffer.memory 主要为了解决两个角色之间处理数据的速度不匹配问题，有了缓冲区可以提高速度快的一方的利用率 表示缓冲区大小，值越大，延迟越高，但吞吐量越大，相当于批量发送，单个数据占用的网络开销变小 compression.type 是否压缩 压缩可以减小网络开销，增大存储量，但是会消耗cpu资源 m...