爱琴孩的博客

无论是传统 I/O 拷贝方式还是引入零拷贝的方式，2 次 DMA 拷贝是都少不了的，因为两次 DMA 都是依赖硬件完成的。拷贝方式CPU拷贝DMA拷贝系统调用上下文切换传统方式（read + write）224内存映射（mmap + write）124sendfile12sendfile202sendfile2RocketMQ 选择了 mmap + write 这种零拷贝方式，适用于业务级消息这种小块文件的数据持久化和传输；

架构Kafka 将 Topic 进行分区，分区可以并发读写。

Kafka最初由Linkedin公司开发的分布式、分区的、多副本的、多订阅者的消息系统。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存是根据Topic进行归类，发送消息者称为Producer；消息接受者称为Consumer；此外kafka集群有多个kafka实例组成，每个实例(server)称为broker。

分区是 Kafka 读写数据的最小粒度，比如主题 A 有 15 条消息，有 5 个分区，如果采用顺序轮询的方式，15 条消息会顺序分配给这 5 个分区，后续消费的时候，也是按照分区粒度消费。由于分区可以部署在多个不同的机器上，所以可以通过分区实现 Kafka 的伸缩性，比如主题 A 的 5 个分区，分别部署在 5 台机器上，如果下线一台，分区就变为 4。，比如下图的 2 个消费群组，可以分别消费这 4 个分区的消息，互不影响。消息经过序列化后，通过不同的分区策略，找到对应的分区。

Kafka 是一个开源的分布式流式平台，它可以处理大量的实时数据，并提供高吞吐量，低延迟，高可靠性和高可扩展性。Kafka 的核心组件包括生产者（Producer），消费者（Consumer），主题（Topic），分区（Partition），副本（Replica），日志（Log），偏移量（Offset）和代理（Broker）。数据磁盘持久化：Kafka 将消息直接写入到磁盘，而不依赖于内存缓存，从而提高了数据的持久性和容错性。

那么，这是如何发生的？我的信用卡公司是如何将我花的每一美元与适当的费用类别匹配，然后向我授予我可以用来预订酒店房间或机票的里程数的？这就是“事件流处理 (ESP)”发挥作用的地方。ESP是一种能够处理持续数据流（事件流）的技术，一旦事件或变化发生，就能立即处理。通过处理单个数据点而不是整个批次，事件流处理平台提供了一种架构，使软件能够理解、对事件作出反应，并在事件发生时运行。