weixin_36630761的博客

编写.proto文件：定义消息结构，包括字段类型、名称和编号。使用protoc编译：将.proto文件编译为目标语言代码，如 Java、Python、Go 等。使用生成的类：使用生成的类进行消息的序列化（转换为二进制格式）和反序列化（解析二进制数据）。

前言：之所以要说下这个参数是因为，在做kafka和流式框架整合的时候，这个参数经常会被设置。之前发现自己理解的其实不到位，对于一些现象不能够很好的解释，后来才发现自己对于这个参数的理解有偏差，所以记录下。常用取值的含义：earliest当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费latest当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据还需要注意的就是

kafka是如何决定把某条信息发送到哪个partition的呢？源码kafka的版本： <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.0.1</version> </dep

原文链接：（请尊重原创）https://www.jianshu.com/p/3e54a5a39683摘要：消息存储对于每一款消息队列都非常重要，那么Kafka在这方面是如何来设计做到高效的呢？Kafka这款分布式消息队列使用文件系统和操作系统的页缓存（page cache）分别存储和缓存消息，摒弃了Java的堆缓存机制，同时将随机写操作改为顺序写，再结合Zero-Copy的特性极大地改善了IO性能。而提起磁盘的文件系统，相信很多对硬盘存储了解的同学都知道：“一块SATA RAID-5阵列磁盘的线性

后续会补上~