weixin_47626220的博客

topic分区数和消费者数量topic的分区数大于等于消费者内节点数存储日志：每个日志文件的文件名为起始偏移量，因为每个分区的起始偏移量是0，所以，分区的日志文件都以0000000000000000000.log开始；默认的每个日志文件最大为「log.segment.bytes =102410241024」1G；为了简化根据offset查找消息，Kafka日志文件名设计为开始的偏移量。写入日志：新的消息总是写入到最后的一个日志文件中该文件如果到达指定的大小（默认为：1GB）时，将滚动到一个新

一.创建主题创建了一个分区数为4、副本因子为2（3个broker节点）的主题 topic-demokafka-topics.sh --zookeeper localhost:2181/kafka --create --topic topic-create --partitions 4 --replication-factor 2查看主题列表kafka-topics.sh --zookeeper localhost:2181/ kafka –list查看主题信息kafka-topics.sh

消费者者实例代码public class KafkaConsumerClient { public static final String brokerList = "localhost:9092"; public static final String topic = "topic-demo"; public static final String groupId = "group.demo"; public static final AtomicBoolean isRu

一.生产者发送消息生产者实例代码public class KafkaProducerClient { public static final String brokers = "localhost:9092"; public static final String topic = "topic-demo"; public static Properties initConfig(){ Properties props = new Properties();

一.基本概念一个典型的 Kafka 体系架构包括若干 Producer、若干 Broker、若干 Consumer，以及一个 ZooKeeper 集群， 其中 ZooKeeper 是 Kafka 用来负责集群元数据的管理、控制器的选举等操作的。Producer 将消息发送到 Broker，Broker 负责将收到的消息存储到磁盘中，而 Consumer 负责从 Broker 订阅并消费消息。...