子清的博客

（1）在/root/bin目录下创建脚本kf.shvim kf.sh在脚本中填写如下内容#!/bin/bashcase $1 in"start"){ for i in hadoop102 hadoop103 hadoop104 do echo " --------启动 $i Kafka-------" ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/k

文章目录一、Kafka Stream背景1. Kafka Stream是什么2. 什么是流式计算3. 为什么要有Kafka Stream二、Kafka Stream架构1. Kafka Stream整体架构2. Processor Topology3. Kafka Stream并行模型4. KTable vs. KStream5. State store三、Kafka Stream如何解决流式系统中关键问题1. 时间2. 窗口3. Join4. 聚合与乱序处理5. 容错四、Kafka Stream应用示例五

kafka开发过程报java.lang.IndexOutOfBoundsExceptionException in thread "wordcount-a57fafd2-4bb5-42e1-939a-70ebb0eeddea-StreamThread-1" java.lang.IndexOutOfBoundsException at java.nio.Buffer.checkIndex(Buffer.java:546) at java.nio.HeapByteBuffer.getLong(HeapBy

1.Kafka中的ISR、AR又代表什么？ISR：与leader保持同步的follower集合AR：分区的所有副本2.Kafka中的HW、LEO等分别代表什么？LEO：每一个副本的最后条消息的offsetHW：一个分区中所有副本最小的offset3.Kafka中是怎么体现消息顺序性的？每个分区内，每条消息都有一个offset，故只能保证分区内有序。4.Kafka中的分区器、序列化器、拦截器是否了解？它们之间的处理顺序是什么？拦截器 -> 序列化器 -> 分区器5.Kafka生

文章目录第1章 Kafka概述1.1 消息队列（Message Queue）1.1.1 传统消息队列的应用场景1.1.2 消息队列的两种模式1.2 定义1.3 Kafka基础架构第2章 Kafka快速入门2.1 安装部署2.1.1 集群规划2.1.2 jar包下载2.1.3 集群部署2.2 Kafka命令行操作第3章 Kafka架构深入3.1 Kafka工作流程及文件存储机制3.2 Kafka生产者3.2.1 分区策略3.2.2 数据可靠性保证3.2.3 Exactly Once语义3.3 Kafka消费者

第5章 Kafka监控（Kafka Eagle）1）修改kafka启动命令修改kafka-server-start.sh命令中if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"fi为if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=

文章目录第4章 Kafka API4.1 Producer API4.1.1 消息发送流程4.1.2 异步发送API4.1.3 同步发送API4.2 Consumer API4.2.1 自动提交offset4.2.2 手动提交offset第4章 Kafka API4.1 Producer API4.1.1 消息发送流程Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main线程和Sender线程，以及一个线程共享变量——RecordAccumula

文章目录第3章 Kafka架构深入3.1 Kafka工作流程及文件存储机制3.2 Kafka生产者3.2.1 分区策略3.2.2 数据可靠性保证3.2.3 Exactly Once语义3.3 Kafka消费者3.3.1 消费方式3.3.2 分区分配策略3.3.3 offset的维护3.4 Kafka高效读写数据3.5 Zookeeper在Kafka中的作用3.6 Kafka事务3.6.1 Producer事务3.6.2 Consumer事务（精准一次性消费）第3章 Kafka架构深入3.1 Kafka工

文章目录第1章 Kafka概述1.1 消息队列（Message Queue）1.1.1 传统消息队列的应用场景1.1.2 消息队列的两种模式1.2 定义1.3 Kafka基础架构第2章 Kafka快速入门2.1 安装部署2.1.1 集群规划2.1.2 jar包下载2.1.3 集群部署2.2 Kafka命令行操作第1章 Kafka概述1.1 消息队列（Message Queue）1.1.1 传统消息队列的应用场景1.1.2 消息队列的两种模式1）点对点模式（一对一，消费者主动拉取数据，消息收到后消