u014468095的博客

sparkstreaming整合kafka的两种方式 sparkstreaming整合旧版本的kafka有两种方式，一般称为Receiver方式和Direct方式。 Receiver方式 Receiver-based方式是基于kafka high level api来实现的。在executor节点会单独启动一个receiver线程，去持续消费kafka数据，消费到的数据放在executor内存中，当执行batch计算时，executor会去计算这些数据。这种方式有很多缺点： 由于宕机或者程序失败等其他因

一、环境说明 组件 版本 Kafka Kafka-0.10.2.0 Spark spark-2.2 IDEA idea64-2017 Zookeeper zookeeper-3.4.5 ...