wrnie的博客

1)单broker模式 2)单机多broker模式 (伪集群) 3)多机多broker模式 (真正的集群模式) 第一种单broker模式     1.下载Kafka：http://kafka.apache.org/downloads.html     2. 解压Kafka：tar xvf  kafka_2.9.1-0.8.2.1.tgz  解压到/usr/local     3...

首先创建Producer， 其次创建Consumer， 最后自定义Partition   1）Kafka的生产者KafkaProducer package com.sinovatech.framework.kafka;   import java.util.Properties;   import kafka.javaapi.producer.Producer; impo...

Kafka基本概念：Topic、Partition、Message、Producer、Broker、Consumer。 Topic：             消息源（Message）的分类。 Partition：             Topic物理上的分组，一个Topic可以有多个Partition；             每个Partition存储为append log文件；...

Message存储：     Topic有多个Partition，一个Partition对应一个log，一个log有多个Segment。     每个Segment存储多个Message，Message的offset决定存储位置。     Broker接收到Message会顺序追加到最后一个Segment中，当Segment的Message达到阈值时(大小或条数)，     Segme...

配置优化都是修改server.properties文件中参数值1.网络和io操作线程配置优化# broker处理消息的最大线程数num.network.threads=xxx# broker处理磁盘IO的线程数num.io.threads=xxx建议配置：一般num.network.threads主要处理网络io，读写缓冲区数据，基本没有io等待，配置线程数量为cpu核数加1.num.io....