TomAndersen的博客

前言 操作系统：CentOS 7 Java版本：1.8.0_221 Flume版本：1.8.0 1. Kafka Channel使用场景 配合Flume Source、Flume Sink使用，为Event的传输提供一种具有高可用的Channel 配合Flume Source和拦截器interceptor使用，无Sink，用于将Flume搜集的Event传输到Kafka集群指定Topic中...

前言 操作系统：CentOS 7 Java版本：1.8.0_221 Flume版本：1.8.0 1. Kafka Channel使用场景 配合Flume Source、Flume Sink使用，为Event的传输提供一种具有高可用的Channel 配合Flume Source和拦截器interceptor使用，无Sink，用于将Flume搜集的Event传输到Kafka集群指定Topic中...

前言 kafka版本：2.11-2.1.1 主要练习的功能是：在某个生产者向first主题中生产消息时，同时通过KafkaStreams将生产消息作特定处理后输出到主题second中 Maven依赖 <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --> <!-- Kafka客户端A...

前言 kafka版本：2.11-2.1.1 基于Kafka Java API 主要是通过封装Consumer.partitionsFor方法实现此功能 代码 /** * <p> * 用于寻找指定Brokers-Topic-Partition对应的Leader. * 主要是封装了{@link KafkaConsumer#partitionsFor}方法...

前言 kafka版本：2.11-2.1.1 基于Kafka Java API 主要是通过封装Conusmer.endOffsets方法实现此功能 代码 /** * <p>根据指定的Topic-Partition获取对应的endOffset. * 主要是封装了KafkaConsumer的{@link KafkaConsumer#endOffsets}方法. ...

前言 kafka版本：2.11-2.1.1 基于Kafka Java API 主要是通过封装Conusmer.assign和Consumer.seek方法实现此功能。前者的作用是将指定Topic-Partition分配给对应的Consumer，后者的作用是将Consumer在指定的Topic-Partition中的Offset置于指定位置 代码 /** * <p>主要用...

1. 下载Kafka安装包 Apache所有项目历史版本镜像地址 Apache Kafka下载地址 2. 解压到指定路径下 本次安装的Kafka为2.1.1版本，注意：压缩包前面的版本号为Scala版本号，而后面的才是Kafka版本号 tar -xzvf kafka_2.11-2.1.1.tgz -C /opt/module/ 3. 配置环境变量 通过修改/etc/profile文件设置K...

kafka版本：2.11-2.1.1