ZYN的博客

Kafka是什么 kafka与flume对比: Kafka的缓冲量要远高于channel kafka可以对接高效的计算引擎 flume只能对接sink kafka是框架传输的channel的速度更快 Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 消息队列的好处 解耦：允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 可恢复性：系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个

Kafka架构 1、Kafka工作流程 Kafka中消息是以topic进行分类的，生产者生产消息，消费者消费消息，都是面向topic的。 一个topic下的每一个分区都单独维护自己的offset，所以分发到不同分区中的数据是不同的数据。消费者的分区维护是一个消费者组一个主题的一个分区维护一个offset。 通俗点说：一个分区对应于一个消费者，消费者对应记录对应分区的offset，从而获取数据。 2、Kafka文件存储机制 topic、log、segment是逻辑上的概念，而partition、.log文

文章目录Kafka安装部署1、部署规划2、集群部署**Kafka启动异常**：3、Kafka命令行操作 Kafka安装部署 1、部署规划 hadoop102 hadoop103 hadoop104 zk zk zk kafka kafka kafka 2、集群部署 1.解压安装至指定路径，然后改名 tar -zxvf apache.kafka_2.11-2.4.1.tgz -C /opt/module/ mv apache.kafka_2.11-2.4.1 kafka_2.11-2.

文章目录Kafka生产者1、消息发送流程2、异步发送API分区策略数据可靠性保证关于follower同步过程中出现的问题：ISRack应答级别leader和follower故障处理Exactly Once语义producer事务 Kafka生产者 1、消息发送流程 Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main线程和Sender线程，以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumula

文章目录Kafka消费者1、消费方式2、基础消费者3、消费者组案例4、分区分配策略5、offset的维护消费offset案例6、自动提交offset7、重置offset8、手动提交offset同步提交异步提交9、Consumer事务 Kafka消费者 1、消费方式 pull（拉）模式从broker中读取数据，可以根据consumer的消费能力以适当的速率消费消息。pull模式不足之处是，如果kafka没有数据，消费者可能会陷入循环中，一直返回空数据。针对这一点，Kafka的消费者在消费数据时会传入一个时长

Kafka监控安装部署 1.修改/opt/module/kafka/bin/kafka-server-start.sh命令中 if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" fi 为 if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128