kafka简单使用

kafka简单介绍

kafka是apache旗下的一款开源免费的消息队列中间件，最早由LinkedIn开发，后面贡献给Apache，目前是Apache旗下顶级开源项目（http://www.kafka.apache.org），该中间件采用Scala语言进行开发。

kafka的特点：

• 可靠性：分布式、分区、复制和容错
• 可拓展性：kafka消息传递系统轻松缩放，无需停机
• 耐用性：kafka使用分布式提交日志，消息会很快保存在磁盘上，具有持久性。
• 性能：kafka对于发布和订阅消息具有高吞吐量

kafka角色与架构

角色：

• cluster：kafka集群
• broker：kafka节点
• producer：生产者
• consumer：消费者
• topic：主体（管道），topic又包含两个内容：分片和副本
  • shard：分片，一个topic可以分为多个分片
  • relicas：副本，针对每个分片构建副本，最多不超过节点数，保证数据不丢失
• zookeeper：存储管理集群元数据

架构图如下：

kafka基本操作

• 创建topic

创建一个topic，名为test01 ， 分区数为3，副本数为2

./kafka-topics.sh  --create --zookeeper node1:2181,node2:2181,node3:2181 --topic test01 --partitions 3 --replication-factor 2

• 查看topic列表

./kafka-topics.sh  --list  --zookeeper node1:2181,node2:2181,node3:2181

• 查看topic详细信息

./kafka-topics.sh --describe --zookeeper  node1:2181,node2:2181,node3:2181 --topic test01

• 修改topic分区（只允许增加，不允许减少分区）

./kafka-topics.sh  --alter --zookeeper node1:2181,node2:2181,node3:2181 --topic test01  --partitions 5

• 删除分区

# 需要设置delete.topic.enable=true（在server.properties）
./kafka-topics.sh --delete --zookeeper node1:2181,node2:2181,node3:2181 --topic test01

JavaApi模拟生产消费数据

• 添加依赖

        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>2.4.1</version>
        </dependency>

        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-io</artifactId>
            <version>1.3.2</version>
        </dependency>

        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.6</version>
        </dependency>

        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.16</version>
        </dependency>

• 生产数据

        Properties props = new Properties();
        props.put("bootstrap.servers", "node1:9092,node2:9092,node3:9092");
        props.put("acks", "all");
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        Producer<String, String> producer = new KafkaProducer<>(props);
        for (int i = 0; i < 10; i++) {
            ProducerRecord<String, String> producerRecord = new ProducerRecord<>(
                    "test01", "张三"+i
            );
            producer.send(producerRecord);
        }
        producer.close();

• 消费数据

        Properties props = new Properties();
        props.put("bootstrap.servers", "node1:9092,node2:9092,node3:9092");
        props.put("group.id", "test");
        props.put("enable.auto.commit", "true");
        props.put("auto.commit.interval.ms", "1000");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); 
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); 
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Arrays.asList("test01"));

        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
            for (ConsumerRecord<String, String> record : records) {
                long offset = record.offset();
                String key = record.key();
                String value = record.value();
                System.out.println("offset:"+offset+"; key:"+key + "; value:"+ value);
            }
        }