
kafka
飞飞羽毛球
这个作者很懒,什么都没留下…
展开
-
kafka-数据存储介绍
topic的一个分区对应一个日志(Log), Log又被切分为多个LogSegment,可以防止Log过大的同时方便维护和清理。Log在物理上是以文件夹的形式存储,LogSegment对应的是以个日志文件和两个索引文件,以及可能的其他文件。想Log中写入数据是顺序写入的,只会向最后一个LogSegment中写入数据,当满足一定条件后,会向新的LogSegment中写入数据。每一个LogSegment都有一个基准偏移量用来表示当前LogSegment第一条消息的offset索引文件主要用来提高消息查找的速度。原创 2022-06-12 14:11:48 · 356 阅读 · 0 评论 -
kafka笔记-生产者和消费者代码(php)
生产者代码:<?php$rk = new Rdkafka\Producer();$rk->setLogLevel(LOG_DEBUG);// 指定生产者链接kafka集群所有的broker地址列表, 参数如: 为hostl:portl,host2:port2,//这里不需要指定所有broker地址,生产者可以从给定的broker里找到其他broker的信息,但是建议配...原创 2020-05-01 18:37:04 · 978 阅读 · 0 评论 -
kafka笔记-基本介绍
1. kafka是什么kafka是一个多分区、多副本且基于zookeeper协调的分布式消息系统2. kafka的优点高吞吐、可持久化、可水平扩展、支持流数据处理等3. kafka基本组成及概念 kafka体系架构主要包括producer(生产者)、consumer(消费者)、broker(服务代理节点)、一个zookeeper集群 producer(生产者...原创 2020-05-01 17:33:54 · 263 阅读 · 0 评论