weixin_45749011的博客

文章目录1. 顺序写磁盘2. 分段日志 + 索引文件3. 零拷贝4. Page Cache5. 批量发送6. 数据压缩1. 顺序写磁盘Kafka的producer生产数据，要写入到log文件中，写的过程是一直追加到文件末端，为顺序写。官网有数据表明，同样的磁盘，顺序写能到600M/s，而随机写只有100K/s。这与磁盘的机械机构有关，顺序写之所以快，是因为其省去了大量磁头寻址的时间。2. 分段日志 + 索引文件分段日志是通过数据的偏移量进行存储，索引文件是能快速定位所要查询数据的位置1、K

文章目录1. 创建maven工程并添加jar包2. 生产者代码1. 使用生产者，生产数据2. kafka当中的数据分区3. 消费者代码1. 自动提交offset2. 手动提交offset3. 消费完每个分区之后手动提交offset4. 指定分区数据进行消费6. 高阶API（High Level API）7. 低级API(Low Level API)8. kafka Streams API开发1....

文章目录1. 创建topic2. 查看主题命令3. 生产者生产数据4. 消费者消费数据5. 运行describe topics命令6. 增加topic分区数7. 增加配置8. 删除配置9. 删除topic1. 创建topic创建一个名字为test的主题， 有三个分区，有两个副本node01执行以下命令来创建topic[root@node01 ~]# cd /export/servers/...

1. 编写脚本#! /bin/bashcase $1 in"start"){ for i in node01 node02 node03 do echo " --------启动 $i Kafka-------" # 用于KafkaManager监控 ssh $i...

文章目录1. 初始化环境准备2. 下载安装包并上传解压3. node01服务器修改kafka配置文件4. 安装包分发到其他服务器上面去5. node02与node03服务器修改配置文件6. kafka集群启动与停止1. 初始化环境准备安装jdk，安装zookeeper并保证zk服务正常启动2. 下载安装包并上传解压node01执行以下命令，下载并解压[root@node01 ~]# cd...

文章目录1、 什么是kafka2、kafka的使用场景3、 kafka优缺点4、Kafka架构（流程）5、Kafka架构（API）6、Topic内部有哪些组成？7、分区和消费组内的消费者之间的关系有哪些情况？8、分区数、消费者与读取效率之间的关系9、副本数与broker之间的关系10、 什么是主/从副本11、 主/从复本的作用是什么12、 ISR是什么？13、 成产者生产数据到kafka集群，数据...