Kafka Stream 实时流例程

Kafka Stream提供了对存储于Kafka内的数据进行流式处理和分析的功能。

使用kafkaStream将kafka输入一个topic的数据，以实时流的方式写入到另一个topic

中间可以对数据进行“加工”，对截取到的数据累加后在放到另一个topic中

首先新建两个kafka topic 一个用来作为第一接受数据topic，另一个用来接收转发数据topic

suminput为接收数据topic
kafka-topics.sh --zookeeper 192.168.150.100:2181 --create --topic suminput--partitions 1 --replication-factor 1

sumoutput为接收转发数据topic
kafka-topics.sh --zookeeper 192.168.150.100:2181 --create --topic sumoutput--partitions 1 --replication-factor 1

在idea新建maven工程

新建Java程序

在pom.xml中添加

输入以下代码并运行

<dependency>
      <groupId>org.apache.kafka</groupId>
      <artifactId>kafka_2.11</artifactId>
      <version>2.0.0</version>
</dependency>

<dependency>
      <groupId>org.apache.kafka</groupId>
      <artifactId>kafka-streams</artifactId>
      <version>2.0.0</version>
</dependency>

package flume.kafkaStreaming;

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.common