lslslslslss的博客

kafka-eagle是一个界面优美的监控网址，那么该如何配置？ 1.修改/opt/module/kafka/bin/kafka-server-start.sh命令，并分发到集群的其他服务器上 if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" fi 为 if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-s

Zookeeper在kafka中发挥了重大的作用，kafka在zookeeper中存储的内容如下所示： Kafka集群中有一个broker会被选举为Controller，负责管理集群broker的上下线，所有topic的分区副本分配和leader选举等工作。 Controller的管理工作都是依赖于Zookeeper的。 ...

一、消费者的工作方式 一般有两种模式，分别为push和pull，消费者采用pull模式从broker中读取数据。 push（推）模式很难适应消费速率不同的消费者，因为消息发送速率是由broker决定的。它的目标是尽可能以最快速度传递消息，但是这样很容易造成consumer来不及处理消息，典型的表现就是拒绝服务以及网络拥塞。而pull模式则可以根据consumer的消费能力以适当的速率消费消息。 pull（拉）模式不足之处是，如果kafka没有数据，消费者...

目录 一、生产者工作流程 二、异步发送API 三、同步发送API 四、分区策略 五、分区器 六、如何保证数据的可靠性 七、 ExactlyOnce 八、producer事务 一、生产者工作流程 Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main线程和Sender线程，以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumulator，Sender线程不断从Re...

流程简述 Kafka中消息是以topic进行分类的，生产者生产消息，消费者消费消息，都是面向topic的。 一个topic下的每一个分区都单独维护自己的offset，所以分发到不同分区中的数据是不同的数据。消费者的分区维护是一个消费者组一个主题的一个分区维护一个offset。 topic是逻辑上的概念，而partition是物理上的概念，每个partition对应于一个log文件，该log文件中存储的就是producer生产的数据。Produc...

目录 一、kafka简介 二、消息队列 为什么要使用消息队列 消息队列的两种模式 三、Kafka架构 四、安装部署 五、kfaka简单操作语句 一、kafka简介 不同时期Kafka的应用场景也不同，在传统使用中，Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。然而在 如今Kafka被定义是一个开源的分布式事件流平台（event streaming platform），被数千家公司用于高性能数据...