一剪梅的博客

先看下索引的类图设计：abstract class AbstractIndex(@volatile private var _file: File, val baseOffset: Long, val maxIndexSize: Int = -1,val writable: Boolean) extends Closeable {import AbstractIndex._// Length ...

producer 的工作逻辑：启动 producer 的线程将待发送消息封装成 ProducerRecord. 然后将其序列化发送给 partitioner, 再由后者确定了目标分区后一同发送给位于 producer 程序中的一块内存缓冲区. 而 producer 的另一个线程负责实时从缓冲区中提取出来准备就绪的消息封装成一个批次，发送给对应的 broker.public class Sim...

1.系统选择linux 系统优于 windows 系统. 因为 linux 采用的是 epoll 模型，而 window 一般采用的是轮询方式，并且 linux 有 sendfile，传输效率高2.磁盘规划(1)普通的机械盘就能满足kafka的存储要求，因为 kafka使用的是顺序 I/O，它的速度比较快，但是 SSD 更好.(2)JBOD 性价比优于 RAID.3.磁盘容量规划需要考虑...

本章内容是如何规划 Kafka 服务器的相关内容.1.操作系统选型linux 效率优于 windows. 因为 I/O 模型和网络传输效率(sendfile).2.磁盘规划1.性价比 JBID 优于 RAID2.使用机械盘完全可以满足 Kafka 集群的使用，SSD 更好.3.磁盘容量规划1.新增消息数2.消息留存时间3.平均消息大小4.副本数5.是否启用压缩4.内存规划...

Kafka 设计之初是为了解决 Linkedin 公司数据管道(datapipe)问题.KafkaProducer 的工作逻辑：将消息封装成 ProducerRecord 对象，然后使用KafkaProducer.send 将消息发送出去. 事实上，其拿到消息后会通过序列化，根据本地缓存的元数据，确定目标分区，最后写入缓冲区. KafkaProducer 专门有一个 Selector I/O 线...

Kafka 的核心功能是高性能的消息发送和高性能的消息消费.在设计一个消息引擎系统的时候需要考虑两件事：1.消息设计：消息必须是语义清晰的，且格式应当具备通用性.2.传输协议设计：消息要能够在不同的系统间传输.3.消息引擎范型：比如消息队列，发布/订阅.消息队列模式：消息被一个生产者生产出来，放到消息队列中，消费者从指定位置消费消息，一旦消息消费完成，则从队列中移除该消息，所以，生产者和...