qinshi965273101的专栏

kafka概述 kafka是分布式消息队列，大体结构如下 topic(主题)：消息按照主题归类，主题之间的数据是隔离的 Producer（发送消息者） Consumer（消息接受者） broker：kafka集群每个实例(server) zookeeper：kafka集群，producer，consumer都依赖于zookeeper来保证系统可用性，保存一些meta信息 kafka特点...

1、kafka的存储机制 分区，就是kafka对应存储目录下创建的文件夹，文件夹的名字是主题名加上分区编号，编号从0开始 segment，就是在分区对应的文件夹下产生的文件。一个分区会被划分成大小相等的若干segment。这样一方面保证了不会产生体积过大的文件， 另一方面可以基于这些segment文件进行历史数据的删除来提高效率。 读取指定分区中某个offset对应的数据过程如下： 先根据...