星空的风fly

Not found future which msgId is 45 when receive response. May be this future have been removed because oftimeout

一、Producer生产者，负责创建消息，把消息投递Kafka中二、Consumer消息者，负责接收消息，一般是本地客户端，由研发人员手动编写代码实现，连接到kafka获取消息，进行消息费三、Broker存储消息的节点。就kafka而言，Broker可以视为一个kafka服务节点或实例。一个或多个Broker实例组成了一个kafka集群四、Topic主题，kafka中的消息存储以主题单位进行分类存储。生产者将消息发送到特定的主题， 消费者订阅对应的主题并进行消费消息，即每条消息都

一、rebalance发生可能的时机1、分区个数的增加2、对Topic的订阅发生变化3、消费组成员的加入或离开（这个是我们最常遇到）二、kafka的rebalance机制在Kafka中，当有新消费者加入或者订阅的Topic数发生变化时，会触发Rebalance(再均衡：在同一个消费者组当中，分区的所有权从一个消费者转移到另外一个消费者)机制，Rebalance顾名思义就是重新均衡消费者消费。Rebalance的过程如下：第一步：所有消费成员都向Coordinator发送请求，请

一、kafka 本身配置层面1.1、replication.factor 默认值1创建kafka的topic时候，每个分区设置的副本数， 根据broker数量酌情设置， 但最少1个1.2、min.insync.replicas 默认值1ISR中的最小副本数小于min.insync.replicas 时候，分区不可用，将拒绝客户端的消息，通常使用小于replication.factor，当request.required.acks =all时生效二、kafka的生产者层面2.1

一、依赖配置1、maven pom.xml引入依赖<properties> <rocketmq-client.version>4.5.2</rocketmq-client.version></properties><dependency> <groupId>org.apache....

今天发现一台kafka broker宕掉，重启kafka broker集群发现日志中报如下错误，查阅各种资料，解决问题如下一、出现的问题Found a corrupted index file due to requirement failed: Corrupt index found, index file (/var/local/kafka/data/uws_topic-2/00...

昨天晚上突然收到Spark任务的告警异常，立即打开电脑查看原由，经过一番分析查找，问题得到解决，习惯记录一下 一、直接问题现象Spark读取kafka超时， 重新连接依然超时，那就是肯定是kafka出问题了二、问题分析排查1、分析kafka日志查看其中一台kafka的broker日志，发现了如下错误查看另一台kafka日志也发现同样的错误，也不用再看其它了...

一、kafka简述1、简介kafka是一个高吞吐的分布式消息队列系统。特点是生产者消费者模式，先进先出（FIFO）保证顺序，自己不丢数据，默认每隔7天清理数据。消息列队常见场景：系统之间解耦合、峰值压力缓冲、异步通信。2、集群介绍（1）Kafka架构是由producer（消息生产者）、consumer（消息消费者）、borker(kafka集群的server，负责处理消息读、...

kafka-manager是一款优秀的kafka集群管理器，提供可视化的web集群管理界面。此插件管理器由Yahoo公司提供，并在git 上开源：https://github.com/yahoo/kafka-manager1、主要功能（1）管理多个kafka集群（2）便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)（3）选择你要运行的副本（...

前边简要介绍了单机版rabbitmq的安装，但是实际使用中往往是集群模式，既然是集群就有普通模式与高性能模式之分，同理rabbitmq亦是如此。一、节点分布： 主机名 对应Ip rabbitmq haproxy node01 192.168.1.71 1...

RabbitMQ依赖于Erlang、socat，因此要首先安装Erlang与socat1、Erlang安装 （1）选择与rabbitmq的兼容版本 去http://www.rabbitmq.com/which-erlang.html查看rabbitmq与Erlang的兼容版本 由于尝试了其他安装方式，易出错，因此这里选择指定yum源安装（2）添加Erl...

RabbitMQ 即一个消息队列，主要是用来实现应用程序的异步和解耦，同时也能起到消息缓冲，消息分发的作用。消息中间件在互联网公司的使用中越来越多，刚才还看到新闻阿里将RocketMQ捐献给了apache，当然了今天的主角还是讲RabbitMQ。消息中间件最主要的作用是解耦，中间件最标准的用法是生产者生产消息传送到队列，消费者从队列中拿取消息并处理，生产者不用关心是谁来消费，消费者不用关心谁在...