消息中间件mq*（Kafka）

RabbitMQ和Kafka的区别

Kafka 适合 数据量大 高吞吐量和数据持久化

RabbitMQ  低延迟 灵活路由 多协议支持

就是一个量大 一个速度快

Kafka如果保证数据不丢失

1 通过日志实现异步回调机制  重试机制保证数据不丢失

2 复制机制 设置acks确认

3 禁用自动提价偏移量改为手动提交

Kafka消息的重复消费问题

Kafka消费消息是按照offset进行标记消费的  消费者默认是自动按期提交已经消费的偏移量

但是可以通过禁用自动提价偏移量 改为手动提交 避免消息丢失和重复消费

为了保证消息的幂等性 可以通过数据库加锁 设置唯一主键 redis分布锁

Kafka如何保证消费的顺序性

默认是不能保证顺序性的 因为可能存储在不同的分区 但是可以解决 有两种方法 都是把消息都存储到同一个分区下  但是感觉这么做会影响性能

1 指定分区号

2 相同业务设置相同key  hash值一样的话 分区肯定也一样

Kafka高可用机制

集群

多个broker实例组成集群 即使某一台宕机了  也不耽误其他的broker继续对外提供服务

复制机制

一个topic有多个分区 每个分区有多个副本 其余的是follower 副本存储在不容的broker中 所有的分区副本的内容是相同的  如果leader发生故障时 会自动将其中一个follower提升为leader 从而保证高可用性 提高容错

复制机制的ISR

in-sync replice  同步复制保存follower

还有一种就是异步的

Kafka的数据清理机制

topic的数据存储在分区上 分区如果文件过大的会分段存储segment

每个分段都以 索引和日志文件的形式存储

这样分段的好处 1 减少单个文件内容的大小 查找数据方便 2 方便kafka进行日志清理

清理策略

1 根据消息保留时间 超时触发清理

2 根据topic存储大小

这两个都可以通过kakfa的broker中的配置文件进行设置

Kafka实现高性能设计

Kafka高性能来自 多方面协同的结果  宏观架构 分布式存储 ISR数据同步 高效利用磁盘 操作系统特性

消息分区 不受单服务器的限制 可以不受限的处理更多数据

顺序读写 磁盘读写效率高

页缓存 磁盘中的数据缓存到内存中 把对磁盘的访问变为对内存的访问

零拷贝 减少上下文切换以及数据拷贝

消息压缩 减少磁盘io和网络io

分批发送 将消息打包批量发送 减少网络开销