uniqueliang的博客

Kafka 是一个优秀的分布式消息中间件，许多系统中都会使用到 Kafka 来做消息通信。对分布式消息系统的了解和使用几乎成为一个后台开发人员必备的技能。今天就从常见的 Kafka 面试题入手和大家聊聊 Kafka 的那些事儿。思维导图讲一讲分布式消息中间件面试问题：什么是分布式消息中间件？ 消息中间件的作用是什么？ 消息中间件的使用场景是什么？ 消息中间件选型？消息队列分布式消息是一种通信机制，和 RPC、HTTP、RMI 等不一样，消息中间件采用分布式...

先检查windows环境上的hosts （C:\Windows\System32\drivers\etc\hosts）是否配置映射 ip与域名的如：192.168.1.100 hdp02192.168.1.101 hdp03如果没解决如下查看kafka配置 server.properties.是否有listeners=PLAINTEXT://192.168.1.101:8888advertised.listeners=PLAINTEXT://...

先检查windows环境上的hosts （C:\Windows\System32\drivers\etc\hosts）是否配置映射 ip与域名的如：192.168.0.100 hdp02192.168.0.101 hdp03如果没解决如下查看kafka配置 server.properties.是否有listeners=PLAINTEXT://192.168.1.200:8888advertised.listeners=PLAINTEXT://...

查看消费者消费组的消费记录进入kafka目录下的bin目录：./kafka-consumer-offset-checker.sh --zookeeper hdp13.long.com:2181/kafka --group group33 --topic handleMonitorLoggroup消费组topic topic值消费主题pid partition的IDoffsetkafka消费者消费的位置logSize写入到该分区的数据位置Lag...

Partitions设计目的kafka是基于文件存储，每个partition在存储层面试append log文件，任何发布到此partition的消息都会被直接追加到log文件的尾部。通过分区，可以将日志内容分散到多个server上，来避免文件尺寸达到单机磁盘的上限，每个partition都会被当前server（kafka实例）保存，可以将一个topic切分到任意多个partitions。越多的partitions意味着可以容纳更多的consumer，有效提升并发消费的能力。那么如何确定分区的数量...