每天叫醒自己的不是闹铃 是娟 是梦 是理想。

在上一篇文章中，指出了高性能设计的两个关键维度：计算和 IO，可以将它们理解成「道」。同时给出了Kafka高性能设计的全景图，可以理解成「术」。 图 1：Kafka 高性能设计的全景图 这篇文章将继续对存储消息和消费消息的8 条高性能设计手段，逐个展开分析，废话不多说，开始发车。 1. 存储消息的性能优化手段 存储消息属于 Broker 端的核心功能，下面是它所采用的 4 条优化手段。 1、IO 多路复用 对于 Kafka Broker 来说，要做到高性能，首先要考虑的是...

大家好，我是武哥。 这是《吃透 MQ系列》之 Kafka 的第 4 篇，错过前 3 篇的，通过下面的链接一睹为快： 第 1 篇：扒开 Kafka 的神秘面纱 第 2 篇：Kafka 架构设计的任督二脉 第 3 篇：Kafka 存储选型的奥秘 第 3 篇文章我深入剖析了 Kafka 选用「日志文件」作为存储方案的来龙去脉以及背后「磁盘顺序写 + 稀疏索引」的精妙设计思路。 但是，Kafka 能做到单机每秒几十万的吞吐量，它的性能优化手段绝不止这一点。 Kafka的高性能设计可以说是全方位的，..

从这篇文章开始，我将从微观角度切入，深入分析 Kafka 的设计原理。本文要讲的是 Kafka 最具代表性的：存储设计。 谈到 Kafka 的存储设计，了解不多的同学，可能会有这样的疑惑：为什么 Kafka 会采用 Logging（日志文件）这种很原始的方式来存储消息，而没考虑用数据库或者 KV 来做存储？ 而对 Kafka 有所了解的同学，应该能快速说出一些 知识点：比如 Append Only、Linear Scans、磁盘顺序写、页缓存、零拷贝、稀疏索引、二分查找等等。 我计划写两篇文章，除了解

1. Kafka 的技术难点究竟在哪？ 前一篇文章《吃透 MQ 系列》之扒开 Kafka 的神秘面纱 交代了两个关键信息： 1、Kafka 为实时日志流而生，要处理的并发和数据量非常大。可见，Kafka 本身就是一个高并发系统，它必然会遇到高并发场景下典型的三高挑战：高性能、高可用和高扩展。 2、为了简化实现的复杂度，Kafka 最终采用了很巧妙的消息模型：它将所有消息进行了持久化存储，让消费者自己各取所需，想取哪个消息，想什么时候取都行，只需要传递一个消息的 offset 进行拉取即可。 ...

01 为什么从 Kafka 开始？ 《吃透 MQ 》的开篇围绕 MQ 「一发一存一消费」的本质展开，讲解了 MQ 的通用知识，同时系统性地回答了：如何着手设计一个 MQ？ 从这篇文章开始，我会讲解具体的消息中间件，之所以选择从 Kafka 开始，有 3 点考虑： 第一，RocketMQ 和 Kafka 是目前最热门的两种消息中间件，互联网公司应用最为广泛，将作为本系列的重点。 第二，从 MQ 的发展历程来看，Kafka 先于 RocketMQ 诞生，并且阿里团队在实现 RocketMQ 时，充...

这是技术系列《吃透 MQ》的开篇。本文主要讲解 MQ 的通用知识，让大家先弄明白：如果让你来设计一个 MQ，该如何下手？需要考虑哪些问题？又有哪些技术挑战？ 有了这个基础后，我相信后面几篇文章再讲 Kafka 和 RocketMQ 这两种具体的消息中间件时，大家能很快地抓住主脉络，同时分辨出它们各自的特点。 对于 MQ 来说，不管是 RocketMQ、Kafka 还是其他消息队列，它们的本质都是：一发一存一消费。下面我们以这个本质作为根，一起由浅入深地聊聊 MQ。 01 从 MQ 的本质说起 将..