oJueQiang123456的博客

一、概述 SparkStreaming以Kafka作为数据源，手动管理offsets保存在zookeeper中。 SparkStreamingOnKafka(入口)。 KafkaZookeeperUtils(获取数据和更新offsets工具类)。 二、代码 1、SparkStreamingOnKafka package com.cfl.spark.streaming; import ...

一、概述 环境版本和jar版本一致。 环境版本：kafka_2.10-0.8.2.2。 jar版本： <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.10</artifactId> <version>0.8...

一、概述 1、架构 producer：消息生产者。 consumer：消息消费者。 broker：kafka集群的server，负责处理消息读、写请求，存储消息。 2、消息存储和生产模型 一个topic分成多个partition 每个partition内部消息强有序，其中的每个消息都有一个序号叫offset。 一个partition只对应一个broker，一个...

1、Springboot版本：2.0.3.RELEASE <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency> 2、application...