welcome to daijiguo's blog

文章目录1. 背景2. 示例3. 结论1. 背景现需要在Kafka管理平台中加入数据预览功能，浏览topic最新的10条数据，我们需要用startOffset = HighWatermark - 10公式求出起始startOffset，从startOffset开始查询分区中的数据。但是，在使用KafkaConsumer#seek方法设置offset时不生效，KafkaConsumer#poll始终无法拉取到历史数据，更精确地说，始终只能拉取到最新插入的数据。环境：CDH 6.3.2Kafka

文章目录0. 概述1. KafkaProducer数据发送流程1.1 宏观流程1.2 微观流程2. 元数据更新流程2.1 流程2.2 元数据变化动态感知2.2.1 强制更新2.2.2 周期更新3. Kafka客户端通信模型3.1 连接3.2 发送3.3 读写3.4 处理返回0. 概述本文旨在借助对ProduceRequest和MetadataRequest两种请求的请求链路的分析，得出kafka客户端网络模型的通用步骤。1. KafkaProducer数据发送流程1.1 宏观流程确认数据要发

文章目录1. Why BufferPool ？1.1 Why two kinds of pools ?2. What is a BufferPool ？3. How BufferPool run ?1. Why BufferPool ？Kafka Producer以ProducerBatch为单位发送数据，而ProducerBatch中的数据以ByteBuffer的形式进行存储。当发送端数据量极大时，ByteBuffer就会无限制地频繁申请，可能会引发OOM；另外，发送完数据后，ByteBuffer就会

文章目录1. 分析启动脚本1.1 启动命令1.2 kafka-run-class2. idea配置1. 分析启动脚本1.1 启动命令# background running modecd /home/lenmom/workspace/software/confluent-community-5.1.0-2.11/ &&./bin/connect-distributed -daemon ./etc/schema-registry/connect-avro-distributed.pro

文章目录1. 背景2. 方案一：__consumer_offsets2.1 消息格式2.2 代码3. 方案二：AdminClient3.1 流程3.2 代码1. 背景大数据平台经常以Kafka作为消息中间件，且需要有完整的针对Kafka的管理和监控体系，例如实时查看：current-offset：topic在不同消费者组中的消费进度log-end-offset： topic中的可见消息总量Lag：消费延迟，lag=logEndOffset - currentOffset消费进度的保存机制在不同的

众所周知，kafka之所以吞吐量高，其中的一个重要原因就是因为其consumer在读取事件时使用了mmap的方式，mmap与常规文件读写的区别如下：参考：https://juejin.im/post/59f8691b51882534af254317#heading-16https://www.cnblogs.com/huxiao-tee/p/4657851.html#_label2ht...

文章目录kafka和zookeeper开启kerberos认证1. 环境2. 创建主体并生成keytab3. 配置jaas.conf4. 配置kafka server.properties5. 配置kafka zookeeper.properties6. kafka broker+zookeeper启动脚本7. kafka client的使用7.1 producer7.2 consumerkaf...

文章目录1.kerberos概念介绍2. kerberos认证过程3. kerberos安装4. 创建 KDC 数据库5. 编辑 `kadm5.acl`6. 启动kdc和admin7. 添加principal8. 使用keytab登陆1.kerberos概念介绍principal：认证的主体，如kafka/stream.dtwave.local@EXAMPLE.COM，其中kafka是主体的用...

自己搭建了kafka connect实时ETL环境，并编写了shell脚本以方便启动和停止，具体代码如下：启动脚本：#!/bin/bash#脚本涵盖从启动kafka connect集群到schema-registry和schema-registry-ui的整个实时ETL环境的启动#日志清空echo '' > /Users/djg/env/kafka_2.12-2.2.2/star...